Mais une nouvelle technique mise au point par des chercheurs du MIT ne nécessiterait que quelques démonstrations humaines pour reprogrammer le robot. Cette méthode d'apprentissage automatique permet au robot de saisir et de déposer des objets invisibles à l'œil nu dans des positions aléatoires qu'il n'a jamais rencontrées auparavant. En 10 à 15 minutes, le robot sera prêt à effectuer une nouvelle tâche de manipulation.

Cette technique utilise un réseau neuronal conçu spécifiquement pour reconstruire les formes d'objets 3D. En quelques démonstrations seulement, le système exploite les connaissances acquises par le réseau neuronal sur la géométrie 3D pour appréhender de nouveaux objets similaires à ceux présentés.

Dans des simulations et à l'aide d'un véritable bras robotique, les chercheurs démontrent que leur système peut manipuler efficacement des tasses, des bols et des bouteilles jamais vus auparavant, disposés dans des positions aléatoires, en utilisant seulement 10 démonstrations pour enseigner au robot.

« Notre principale contribution réside dans notre capacité à doter plus efficacement les robots de nouvelles compétences pour opérer dans des environnements moins structurés et plus variables. Le concept de généralisation par construction est une capacité fascinante, car ce problème est généralement beaucoup plus complexe », explique Anthony Simeonov, doctorant en génie électrique et informatique et co-auteur de l'article.

Simeonov a co-écrit l'article avec Yilun Du, doctorant en génie électrique et informatique ; Andrea Tagliasacchi, chercheur chez Google Brain ; Joshua B. Tenenbaum, professeur titulaire de la chaire Paul E. Newton de développement de carrière en sciences cognitives et informatique au sein du département des sciences cognitives et du cerveau et membre du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) ; Alberto Rodriguez, professeur agrégé (promotion 1957) au département de génie mécanique ; et les auteurs principaux, Pulkit Agrawal, professeur au CSAIL, et Vincent Sitzmann, futur maître de conférences en génie électrique et informatique. Ces travaux de recherche seront présentés à la Conférence internationale sur la robotique et l'automatisation.

Géométrie de la poignée

Un robot peut être entraîné à ramasser un objet spécifique, mais si cet objet est couché sur le côté (par exemple, s'il est tombé), le robot perçoit la situation comme totalement inédite. C'est l'une des raisons pour lesquelles les systèmes d'apprentissage automatique ont tant de mal à généraliser à de nouvelles orientations d'objets.

Pour surmonter cette difficulté, des chercheurs ont créé un nouveau type de modèle de réseau neuronal, un champ de descripteur neuronal (NDF), qui apprend la géométrie 3D d'une classe d'objets. Ce modèle calcule la représentation géométrique d'un objet spécifique à partir d'un nuage de points 3D, c'est-à-dire un ensemble de points de données ou de coordonnées dans les trois dimensions. Ces points de données peuvent être obtenus grâce à une caméra de profondeur qui fournit des informations sur la distance entre l'objet et un point de vue. Bien que le réseau ait été entraîné en simulation avec un vaste ensemble de données de formes 3D synthétiques, il peut être appliqué directement à des objets réels.

L'équipe a conçu le NDF avec une propriété appelée équidistance. Grâce à cette propriété, si l'on présente au modèle l'image d'une tasse à la verticale, puis l'image de la même tasse à l'horizontale, il comprend que la seconde tasse est le même objet, simplement pivoté.

« C’est cette ambiguïté qui nous permet de traiter beaucoup plus efficacement les cas où l’objet observé a une orientation arbitraire », explique Simeonov.

À mesure que le NDF apprend à reconstituer les formes d'objets similaires, il apprend également à associer les parties apparentées de ces objets. Par exemple, il apprend que les anses des tasses sont similaires, même si certaines tasses sont plus hautes ou plus larges que d'autres, ou si leurs anses sont plus courtes ou plus longues.

« Si vous vouliez procéder autrement, vous devriez étiqueter manuellement toutes les pièces. Notre méthode, en revanche, détecte automatiquement ces pièces à partir de la reconstruction de la forme », explique Du.

Les chercheurs utilisent ce modèle NDF entraîné pour enseigner une nouvelle compétence à un robot à l'aide de quelques exemples concrets. Ils déplacent la main du robot au-dessus de la partie d'un objet qu'il doit saisir, comme le bord d'un bol ou l'anse d'une tasse, et enregistrent la position de ses doigts.

Comme NDF a beaucoup appris sur la géométrie 3D et sur la façon de reconstruire des formes, il peut déduire la structure d'une nouvelle forme, ce qui permet au système de transférer les preuves à de nouveaux objets dans des poses arbitraires, explique Du.

Choisissez un gagnant

Ils ont testé leur modèle par simulation et sur un véritable bras robotisé, en utilisant des tasses, des bols et des bouteilles comme objets. Leur méthode a atteint un taux de réussite de 85 % pour les tâches consistant à saisir et à placer de nouveaux objets dans des orientations inédites, tandis que la meilleure méthode de référence n'a atteint que 45 % de réussite. La réussite est définie comme la saisie d'un nouvel objet et son placement à un emplacement précis, par exemple, suspendre des tasses sur une étagère.

De nombreuses méthodes de référence utilisent des informations d'image 2D au lieu de la géométrie 3D, ce qui complique l'intégration de l'équidistance. C'est l'une des raisons pour lesquelles la technique NDF a donné de bien meilleurs résultats.

Bien que les chercheurs soient satisfaits des performances de leur méthode, celle-ci ne fonctionne que pour la catégorie d'objets sur laquelle elle a été entraînée. Un robot programmé pour ramasser des tasses ne pourra pas ramasser des boîtes ou des écouteurs, car ces objets ont des caractéristiques géométriques trop différentes de celles du réseau entraîné.

« À l'avenir, l'idéal serait de l'étendre à de nombreuses catégories ou d'abandonner complètement la notion de catégorie », déclare Simeonov.

Ils prévoient également d'adapter le système aux objets non rigides et, à long terme, de permettre au système d'effectuer des tâches de sélection et de placement lorsque la zone cible change.

Ces travaux sont financés, en partie, par la Defence Advanced Research Projects Agency, la Singapore Defence Science and Technology Agency et la National Science Foundation.

###

Article rédigé par Adam Zewe, service de presse du MIT