Facendo un passo in questa direzione, i ricercatori del MIT hanno sviluppato un dataset di immagini che consente di simulare la visione periferica nei modelli di apprendimento automatico. Hanno scoperto che addestrare i modelli con questo dataset migliorava la loro capacità di rilevare oggetti nella periferia visiva, sebbene le prestazioni dei modelli fossero ancora inferiori a quelle umane.
I loro risultati hanno inoltre rivelato che, a differenza degli esseri umani, né le dimensioni degli oggetti né la quantità di elementi visivi di disturbo in una scena hanno un impatto significativo sulle prestazioni dell'IA.
"Sta succedendo qualcosa di fondamentale. Abbiamo testato molti modelli diversi e, anche quando li addestriamo, migliorano un po', ma non sono esattamente come gli esseri umani. Quindi la domanda è: cosa manca a questi modelli?"afferma Vasha DuTell, ricercatrice post-dottorato e coautrice di un articolo che descrive in dettaglio questo studio.
Rispondere a questa domanda potrebbe aiutare i ricercatori a creare modelli di apprendimento automatico capaci di percepire il mondo come lo percepiscono gli esseri umani. Oltre a migliorare la sicurezza stradale, questi modelli potrebbero essere utilizzati per sviluppare display più facili da leggere.
Inoltre, una comprensione più approfondita della visione periferica nei modelli di intelligenza artificiale potrebbe aiutare i ricercatori a prevedere meglio il comportamento umano, aggiunge l'autrice principale Anne Harrington MEng '23.
"Modellare la visione periferica, se riusciamo a catturare veramente l'essenza di ciò che viene raffigurato in periferia, può aiutarci a comprendere le caratteristiche di una scena visiva che inducono i nostri occhi a muoversi per raccogliere maggiori informazioni", spiega.
Tra i coautori figurano Mark Hamilton, studente di dottorato in Ingegneria Elettrica e Informatica; Ayush Tewari, ricercatore post-dottorato; Simon Stent, direttore della ricerca presso il Toyota Research Institute; e gli autori principali William T. Freeman, professore titolare della cattedra Thomas e Gerd Perkins di Ingegneria Elettrica e Informatica e membro del Computer Science and Artificial Intelligence Laboratory (CSAIL); e Ruth Rosenholtz, ricercatrice senior presso il Dipartimento di Scienze Cognitive e del Cervello e membro del CSAIL. La ricerca sarà presentata alla Conferenza Internazionale sull'Apprendimento Rappresentazionale.
"Quando un essere umano interagisce con una macchina (un'auto, un robot, un'interfaccia utente), è fondamentale sapere cosa quella persona può vedere. La visione periferica gioca un ruolo essenziale in questa comprensione", afferma Rosenholtz.
Simulare la visione periferica
Estendi il braccio in avanti e alza il pollice: la piccola area intorno all'unghia del pollice è ciò che vede la fovea, la minuscola depressione al centro della retina che fornisce la visione più nitida. Tutto il resto si trova nella periferia visiva. La corteccia visiva riproduce una scena con meno dettagli e affidabilità man mano che ci si allontana da quel punto di messa a fuoco nitida.
Molti degli approcci esistenti alla modellazione della visione periferica nell'IA rappresentano questo deterioramento dei dettagli sfocando i bordi delle immagini, ma la perdita di informazioni che si verifica nel nervo ottico e nella corteccia visiva è molto più complessa.
Per ottenere un approccio più preciso, i ricercatori del MIT sono partiti da una tecnica utilizzata per modellare la visione periferica negli esseri umani. Questo metodo, noto come modellazione a mosaico di texture, trasforma le immagini per rappresentare la perdita di informazioni visive negli esseri umani.
Hanno modificato questo modello in modo che potesse trasformare le immagini in maniera simile, ma in modo più flessibile, senza la necessità di sapere in anticipo dove la persona o l'IA avrebbero rivolto lo sguardo.
"Questo ci ha permesso di modellare fedelmente la visione periferica nello stesso modo in cui viene fatta nella ricerca sulla visione umana", afferma Harrington.
I ricercatori hanno utilizzato questa tecnica modificata per generare un enorme set di dati di immagini trasformate che appaiono più ricche di dettagli in determinate aree, per rappresentare la perdita di dettaglio che si verifica quando un essere umano guarda più lontano, verso la periferia.
In seguito, hanno utilizzato il set di dati per addestrare diversi modelli di visione artificiale e ne hanno confrontato le prestazioni con quelle degli esseri umani in un compito di rilevamento di oggetti.
"Abbiamo dovuto essere molto ingegnosi nell'impostare l'esperimento in modo da poterlo testare anche su modelli di apprendimento automatico. Non volevamo dover riaddestrare i modelli su un compito di prova per il quale non erano stati progettati", spiega.
Prestazione peculiare
Ai partecipanti umani e ai modelli sono state mostrate coppie di immagini trasformate identiche, tranne per il fatto che una delle due presentava un oggetto bersaglio situato nella periferia. A ciascun partecipante è stato quindi chiesto di scegliere l'immagine contenente l'oggetto bersaglio.
"Una cosa che ci ha davvero sorpreso è stata la bravura delle persone nel rilevare oggetti nella periferia del campo visivo. Abbiamo esaminato almeno 10 diverse serie di immagini in cui era fin troppo facile individuarli. Abbiamo dovuto utilizzare oggetti sempre più piccoli", aggiunge Harrington.
I ricercatori hanno scoperto che addestrare i modelli da zero sul loro set di dati ha portato al maggiore incremento di prestazioni e ha migliorato la capacità di rilevare e riconoscere gli oggetti. Il perfezionamento di un modello sul loro set di dati, un processo che prevede la messa a punto di un modello pre-addestrato per svolgere un nuovo compito, ha portato a miglioramenti delle prestazioni inferiori.
Ma in tutti i casi, le macchine non erano brave quanto gli esseri umani, ed erano particolarmente incapaci di rilevare oggetti nella periferia più lontana. Le loro prestazioni, inoltre, non seguivano gli stessi schemi di quelle umane.
"Questo potrebbe suggerire che i modelli non utilizzano il contesto nello stesso modo in cui lo fanno gli esseri umani per svolgere questi compiti di rilevamento. La strategia dei modelli potrebbe essere diversa", afferma Harrington.
I ricercatori intendono continuare a esplorare queste differenze con l'obiettivo di trovare un modello in grado di prevedere le prestazioni umane nella visione periferica. Ciò potrebbe consentire, ad esempio, ai sistemi di intelligenza artificiale di avvisare i conducenti di pericoli che altrimenti potrebbero non notare. Sperano inoltre di ispirare altri ricercatori a condurre ulteriori studi sulla visione artificiale utilizzando il loro set di dati pubblicamente disponibile.
Questo lavoro è stato finanziato, in parte, dal Toyota Research Institute e dalla borsa di studio MIT CSAIL METEOR.
###
Articolo di Adam Zewe, MIT News
