Des chercheurs du MIT, du laboratoire d'intelligence artificielle MIT-IBM Watson et d'autres institutions ont mis au point un modèle de vision par ordinateur plus performant qui réduit considérablement la complexité de calcul de cette tâche. Ce modèle est capable d'effectuer une segmentation sémantique précise en temps réel sur un appareil aux ressources matérielles limitées, comme les ordinateurs de bord qui permettent aux véhicules autonomes de prendre des décisions en une fraction de seconde.

Les modèles de segmentation sémantique les plus récents apprennent directement l'interaction entre chaque paire de pixels d'une image ; leurs calculs augmentent donc de façon quadratique avec la résolution de l'image. Par conséquent, bien que précis, ces modèles sont trop lents pour traiter en temps réel des images haute résolution sur un périphérique tel qu'un capteur ou un téléphone mobile.

Des chercheurs du MIT ont conçu un nouveau composant pour les modèles de segmentation sémantique qui offre les mêmes capacités que ces modèles de pointe, mais avec une complexité de calcul linéaire et des opérations efficaces sur le plan matériel.

Il en résulte une nouvelle série de modèles de vision par ordinateur haute résolution, jusqu'à neuf fois plus rapides que les modèles précédents sur appareil mobile. Plus important encore, cette nouvelle série offre une précision égale, voire supérieure, à celle des modèles concurrents.

Cette technique pourrait non seulement aider les véhicules autonomes à prendre des décisions en temps réel, mais elle pourrait également améliorer l'efficacité d'autres tâches de vision par ordinateur à haute résolution, telles que la segmentation d'images médicales.

« Bien que les chercheurs utilisent depuis longtemps des transformateurs de vision traditionnels, avec des résultats remarquables, nous souhaitons attirer l'attention sur l'efficacité de ces modèles. Nos travaux démontrent qu'il est possible de réduire considérablement la charge de calcul, permettant ainsi une segmentation d'images en temps réel et localement sur un appareil », explique Song Han, professeur associé au département de génie électrique et informatique (EECS), membre du laboratoire d'intelligence artificielle MIT-IBM Watson et auteur principal de l'article décrivant le nouveau modèle.

Il est accompagné dans cet article par Han Cai, doctorant en génie électrique et informatique ; Junyan Li, étudiant à l’université du Zhejiang ; Muyan Hu, étudiant à l’université Tsinghua ; et Chuang Gan, chercheur principal au laboratoire d’intelligence artificielle Watson du MIT et d’IBM. Ces travaux de recherche seront présentés à la Conférence internationale sur la vision par ordinateur.

Une solution simplifiée

La catégorisation de chaque pixel d'une image haute résolution pouvant contenir des millions de pixels représente un défi de taille pour un modèle d'apprentissage automatique. Récemment, un nouveau type de modèle performant, appelé transformateur de vision, a démontré son efficacité.

Les transformeurs ont été initialement développés pour le traitement automatique du langage naturel. Dans ce contexte, ils encodent chaque mot d'une phrase sous forme de token, puis génèrent une carte d'attention qui capture les relations de chaque token avec tous les autres. Cette carte d'attention aide le modèle à comprendre le contexte lors de ses prédictions.

S'appuyant sur le même principe, un transformateur de vision découpe une image en zones de pixels et encode chaque zone en un jeton avant de générer une carte d'attention. Lors de la génération de cette carte, le modèle utilise une fonction de similarité qui apprend directement l'interaction entre chaque paire de pixels. De cette manière, le modèle développe ce que l'on appelle un champ réceptif global, ce qui lui permet d'accéder à toutes les parties pertinentes de l'image.

Puisqu'une image haute résolution peut contenir des millions de pixels, divisés en milliers de zones, la carte d'attention devient rapidement énorme. Par conséquent, la quantité de calculs augmente de façon quadratique avec la résolution de l'image.

Dans leur nouvelle série de modèles, baptisée EfficientViT, les chercheurs du MIT utilisent un mécanisme simplifié pour construire la carte d'attention : ils remplacent la fonction de similarité non linéaire par une fonction linéaire. Cela leur permet de réorganiser l'ordre des opérations afin de réduire le nombre total de calculs sans altérer la fonctionnalité ni réduire le champ réceptif global. Avec leur modèle, le nombre de calculs nécessaires à une prédiction augmente linéairement avec la résolution de l'image.

« Mais rien n'est gratuit. L'attention linéaire ne saisit que le contexte global de l'image et passe à côté des informations locales, ce qui nuit à la précision», explique Han.

Pour compenser cette perte de précision, les chercheurs ont inclus deux composantes supplémentaires dans leur modèle, chacune n'ajoutant qu'une petite quantité de calcul.

L'un de ces éléments permet au modèle de saisir les interactions entre les caractéristiques locales, palliant ainsi la faiblesse de la fonction linéaire pour l'extraction d'informations locales. Le second, un module d'apprentissage multi-échelle, aide le modèle à reconnaître les objets de toutes tailles.

« Le plus important est de trouver le juste équilibre entre performance et efficacité », déclare Cai.

Ils ont conçu EfficientViT avec une architecture adaptée au matériel, facilitant ainsi son exécution sur divers appareils, tels que les casques de réalité virtuelle ou les ordinateurs embarqués dans les véhicules autonomes. Leur modèle pourrait également être appliqué à d'autres tâches de vision par ordinateur, comme la classification d'images.

Rationalisation de la segmentation sémantique

Lorsqu'ils ont testé leur modèle sur des ensembles de données utilisés pour la segmentation sémantique, ils ont constaté qu'il était jusqu'à neuf fois plus rapide sur une unité de traitement graphique (GPU) Nvidia que d'autres modèles de transformation de vision populaires, avec une précision égale ou supérieure.

« Nous pouvons désormais tirer le meilleur parti des deux mondes et réduire la puissance de calcul pour obtenir une vitesse suffisante pour fonctionner sur les appareils mobiles et dans le cloud », explique Han.

À partir de ces résultats, les chercheurs souhaitent appliquer cette technique pour accélérer les modèles d'apprentissage automatique génératifs, tels que ceux utilisés pour générer de nouvelles images. Ils envisagent également d'étendre EfficientViT à d'autres tâches de vision.

« La compression et la conception de modèles légers sont des axes de recherche essentiels pour une IA performante, notamment pour les modèles de grandes bases de données. L’équipe du professeur Song Han a réalisé des progrès remarquables dans la compression et l’accélération des modèles d’apprentissage profond modernes, en particulier les transformateurs de vision », ajoute Jay Jackson, vice-président mondial de l’intelligence artificielle et de l’apprentissage automatique chez Oracle, qui n’a pas participé à ces travaux. « Oracle Cloud Infrastructure soutient son équipe dans l’avancement de cette recherche prometteuse pour une IA plus efficace et respectueuse de l’environnement. ».

###

Article rédigé par Adam Zewe, MIT News