Dans cette optique, des chercheurs du MIT ont développé un ensemble de données d'images permettant de simuler la vision périphérique dans les modèles d'apprentissage automatique. Ils ont constaté que l'entraînement des modèles avec cet ensemble de données améliorait leur capacité à détecter les objets en périphérie du champ visuel, même si leurs performances restaient inférieures à celles des humains.
Leurs résultats ont également révélé que, contrairement aux humains, ni la taille des objets ni la quantité d'éléments visuels encombrants dans une scène n'avaient d'impact majeur sur les performances de l'IA.
« Il se passe quelque chose de fondamental. Nous avons testé de nombreux modèles différents, et même après entraînement, ils s'améliorent légèrement, mais ils ne sont pas tout à fait comme les humains. La question est donc : que manque-t-il à ces modèles ? »,explique Vasha DuTell, chercheuse postdoctorale et co-auteure d'un article détaillant cette étude.
Répondre à cette question pourrait aider les chercheurs à créer des modèles d'apprentissage automatique capables de percevoir le monde comme les humains. Outre l'amélioration de la sécurité routière, ces modèles pourraient servir à concevoir des affichages plus lisibles.
De plus, une meilleure compréhension de la vision périphérique dans les modèles d'IA pourrait aider les chercheurs à mieux prédire le comportement humain, ajoute l'auteure principale Anne Harrington MEng '23.
« La modélisation de la vision périphérique, si nous parvenons à saisir véritablement l'essence de ce qui est représenté en périphérie, peut nous aider à comprendre les caractéristiques d'une scène visuelle qui incitent nos yeux à se déplacer pour recueillir davantage d'informations», explique-t-il.
Parmi les co-auteurs figurent Mark Hamilton, doctorant en génie électrique et informatique ; Ayush Tewari, chercheur postdoctoral ; Simon Stent, directeur de recherche à l’Institut de recherche Toyota ; et les auteurs principaux William T. Freeman, professeur titulaire de la chaire Thomas et Gerd Perkins en génie électrique et informatique et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) ; et Ruth Rosenholtz, chercheuse principale au Département des sciences cognitives et du cerveau et membre du CSAIL. Ces travaux de recherche seront présentés à la Conférence internationale sur l’apprentissage représentationnel.
« Lorsqu'un humain interagit avec une machine (une voiture, un robot, une interface utilisateur), il est très important de savoir ce que cette personne peut voir. La vision périphérique joue un rôle fondamental dans cette compréhension », explique Rosenholtz.
Simuler la vision périphérique
Tendez le bras et levez le pouce : la petite zone autour de votre ongle correspond à la fovéa, la minuscule dépression au centre de la rétine qui assure la vision la plus nette. Tout le reste se situe en périphérie visuelle. Le cortex visuel restitue une scène avec moins de détails et de précision à mesure que l’on s’éloigne de ce point de netteté.
De nombreuses approches existantes de modélisation de la vision périphérique en IA représentent cette détérioration des détails en floutant les bords des images, mais la perte d'informations qui se produit dans le nerf optique et le cortex visuel est beaucoup plus complexe.
Pour parvenir à une approche plus précise, les chercheurs du MIT ont utilisé une technique de modélisation de la vision périphérique chez l'humain. Cette méthode, appelée modélisation par mosaïque de textures, transforme les images pour représenter la perte d'informations visuelles chez l'humain.
Ils ont modifié ce modèle afin qu'il puisse transformer les images de manière similaire, mais de façon plus flexible, sans qu'il soit nécessaire de savoir à l'avance où la personne ou l'IA allait diriger son regard.
« Cela nous a permis de modéliser fidèlement la vision périphérique de la même manière que cela se fait dans la recherche sur la vision humaine », explique Harrington.
Les chercheurs ont utilisé cette technique modifiée pour générer un vaste ensemble de données d'images transformées qui apparaissent plus texturées dans certaines zones, afin de représenter la perte de détails qui se produit lorsqu'un humain regarde plus loin vers la périphérie.
Ensuite, ils ont utilisé l'ensemble de données pour entraîner plusieurs modèles de vision par ordinateur et ont comparé leurs performances à celles des humains dans une tâche de détection d'objets.
« Nous avons dû faire preuve d'une grande ingéniosité dans la conception de l'expérience afin de pouvoir également la tester sur des modèles d'apprentissage automatique. Nous ne voulions pas avoir à réentraîner les modèles sur une tâche simplifiée pour laquelle ils n'étaient pas censés travailler », explique-t-il.
Performance particulière
On a présenté aux humains et aux modèles des paires d'images transformées identiques, à l'exception d'un objet cible situé en périphérie de l'une d'elles. Chaque participant devait ensuite choisir l'image contenant l'objet cible.
« Ce qui nous a vraiment surpris, c'est la capacité des gens à détecter les objets en périphérie. Nous avons examiné au moins dix séries d'images différentes qui étaient trop faciles. Nous avons dû utiliser des objets de plus en plus petits », ajoute Harrington.
Les chercheurs ont constaté que l'entraînement de modèles à partir de zéro sur leur ensemble de données permettait d'obtenir les meilleurs gains de performance et d'améliorer la capacité à détecter et à reconnaître les objets. L'amélioration d'un modèle sur leur ensemble de données — un processus qui consiste à optimiser un modèle pré-entraîné pour réaliser une nouvelle tâche — a conduit à des gains de performance plus modestes.
Mais dans tous les cas, les machines n'étaient pas aussi performantes que les humains, et elles étaient particulièrement mauvaises pour détecter les objets situés en périphérie. Leurs performances ne suivaient pas non plus les mêmes schémas que celles des humains.
« Cela pourrait indiquer que les modèles n'utilisent pas le contexte de la même manière que les humains pour effectuer ces tâches de détection. Leur stratégie pourrait être différente », explique Harrington.
Les chercheurs prévoient de poursuivre l'exploration de ces différences afin de trouver un modèle capable de prédire les performances humaines en vision périphérique. Ceci pourrait permettre, par exemple, aux systèmes d'intelligence artificielle d'alerter les conducteurs des dangers qu'ils pourraient autrement manquer. Ils espèrent également inciter d'autres chercheurs à mener des études complémentaires en vision par ordinateur à partir de leur jeu de données accessible au public.
Ce travail a été financé, en partie, par le Toyota Research Institute et la bourse MIT CSAIL METEOR.
###
Article rédigé par Adam Zewe, MIT News
