« Actuellement, avec la méthode d'entraînement actuelle, lorsqu'un robot échoue, nous ignorons la cause du problème. Alors, nous nous résignons et disons : “Bon, il faut recommencer.” Un élément essentiel qui manque à ce système est la possibilité pour le robot d'expliquer la raison de son échec, afin que l'utilisateur puisse fournir un retour d'information », explique Andi Peng, doctorant en génie électrique et informatique (EECS) au MIT.
Peng et ses collaborateurs du MIT, de l'Université de New York et de l'Université de Californie à Berkeley ont créé un cadre qui permet aux humains d'apprendre rapidement à un robot ce qu'ils veulent qu'il fasse, avec un minimum d'effort.
Lorsqu'un robot dysfonctionne, le système utilise un algorithme pour générer des hypothèses contrefactuelles décrivant les modifications nécessaires à son bon fonctionnement. Par exemple, le robot aurait peut-être pu ramasser la tasse si elle avait été d'une certaine couleur. Le système présente ces hypothèses à l'utilisateur et lui demande pourquoi le robot a échoué. Il utilise ensuite ces informations et les hypothèses contrefactuelles pour générer de nouvelles données permettant d'optimiser le robot.
L'ajustement consiste à modifier un modèle d'apprentissage automatique déjà entraîné à effectuer une tâche, afin qu'il puisse en effectuer une seconde, similaire.
Des chercheurs ont testé cette technique par simulation et ont constaté qu'elle permettait d'entraîner un robot plus efficacement que d'autres méthodes. Les robots entraînés grâce à cette technique ont obtenu de meilleurs résultats, et le processus d'entraînement a nécessité moins d'intervention humaine.
Ce cadre pourrait permettre aux robots d'apprendre plus rapidement dans de nouveaux environnements sans nécessiter de compétences techniques de la part de l'utilisateur. À long terme, il pourrait constituer un progrès majeur pour permettre aux robots polyvalents d'accomplir efficacement les tâches quotidiennes des personnes âgées ou handicapées dans divers contextes.
Peng, l'auteur principal, est accompagné des co-auteurs suivants : Aviv Netanyahu, doctorant en génie électrique et informatique ; Mark Ho, professeur associé à l'Institut de technologie Stevens ; Tianmin Shu, chercheur postdoctoral au MIT ; Andreea Bobu, doctorante à l'UC Berkeley ; et les auteurs principaux Julie Shah, professeure d'aéronautique et d'astronautique au MIT et directrice du groupe de robotique interactive au Laboratoire d'informatique et d'intelligence artificielle (CSAIL), et Pulkit Agrawal, professeur au CSAIL. Ces travaux de recherche seront présentés à la Conférence internationale sur l'apprentissage automatique.
Formation en cours d'emploi
Les robots échouent souvent en raison de changements d'agencement : le robot se retrouve face à des objets et des espaces qu'il n'a pas vus pendant son entraînement et ne comprend pas comment se comporter dans ce nouvel environnement.
Une méthode pour reprogrammer un robot pour une tâche spécifique consiste à utiliser l'apprentissage par imitation. L'utilisateur peut démontrer la tâche correcte pour montrer au robot ce qu'il doit faire. Si un utilisateur essaie d'apprendre à un robot à ramasser une tasse, mais qu'il utilise une tasse blanche, le robot risque d'en déduire que toutes les tasses sont blanches. Par conséquent, il pourrait ne pas ramasser une tasse rouge, bleue ou marron (comme celle de Tim le Castor).
Apprendre à un robot à reconnaître qu'une tasse est une tasse, quelle que soit sa couleur, pourrait nécessiter des milliers de démonstrations.
« Je ne veux pas avoir à faire des démonstrations avec 30 000 gobelets. Je veux faire une démonstration avec un seul gobelet. Mais ensuite, je dois apprendre au robot à reconnaître qu’il peut ramasser un gobelet de n’importe quelle couleur », explique Peng.
Pour ce faire, le système des chercheurs détermine quel objet spécifique est important pour l'utilisateur (une tasse) et quels éléments sont sans importance pour la tâche (par exemple, la couleur de la tasse). Il utilise ces informations pour générer de nouvelles données synthétiques en modifiant ces concepts visuels « sans importance ». Ce processus est appelé augmentation de données.
Le cadre de travail se compose de trois étapes. Premièrement, il met en évidence la tâche ayant entraîné l'échec du robot. Deuxièmement, il recueille une démonstration par l'utilisateur des actions souhaitées et génère des scénarios contrefactuels en explorant toutes les caractéristiques de l'espace afin de déterminer les éléments à modifier pour que le robot réussisse.
Le système présente ces scénarios contrefactuels à l'utilisateur et sollicite son avis afin de déterminer quels concepts visuels n'influencent pas l'action souhaitée. Il utilise ensuite ces retours pour générer de nombreuses nouvelles démonstrations en réalité augmentée.
Ainsi, l'utilisateur peut montrer comment ramasser une tasse, mais le système génère des démonstrations illustrant l'action souhaitée avec des milliers de tasses différentes en changeant leur couleur. Ces données servent à optimiser le robot.
Selon Peng, pour que cette technique soit efficace, il est essentiel de créer des explications contrefactuelles et de solliciter l'avis de l'utilisateur.
Du raisonnement humain au raisonnement robotique :
leurs travaux visant à intégrer l’humain dans le processus d’apprentissage, les chercheurs ont testé leur technique auprès d’utilisateurs humains. Ils ont d’abord mené une étude dans laquelle ils ont demandé à des participants si des explications contrefactuelles les aidaient à identifier les éléments modifiables sans incidence sur la tâche.
« C'était très clair dès le départ. Les humains sont très doués pour ce type de raisonnement contrefactuel. Et c'est cette étape contrefactuelle qui nous permet de traduire le raisonnement humain en raisonnement robotique de manière cohérente », explique-t-il.
Ils ont ensuite appliqué leur méthode à trois simulations où des robots devaient se rendre à un objet, ramasser une clé et ouvrir une porte, puis ramasser un objet désiré et le déposer sur une table. Dans tous les cas, leur méthode a permis au robot d'apprendre plus rapidement qu'avec d'autres techniques, tout en nécessitant moins de démonstrations de la part des utilisateurs.
À l'avenir, les chercheurs espèrent tester ce cadre sur de véritables robots. Ils souhaitent également s'attacher à réduire le temps nécessaire au système pour générer de nouvelles données grâce à des modèles d'apprentissage automatique génératifs.
« Nous voulons que les robots fassent ce que font les humains, et qu'ils le fassent de manière sémantiquement pertinente. Les humains ont tendance à opérer dans un espace abstrait, où ils ne pensent pas à chaque propriété d'une image. En fin de compte, il s'agit de permettre à un robot d'apprendre une bonne représentation, semblable à celle d'un humain, à un niveau abstrait», explique Peng.
Ces recherches ont été financées, en partie, par une bourse de recherche de la National Science Foundation pour les étudiants de troisième cycle, Open Philanthropy, une subvention d'Apple pour l'IA et l'apprentissage automatique, Hyundai Motor Corporation, le laboratoire d'IA Watson du MIT-IBM et l'Institut pour l'intelligence artificielle et les interactions fondamentales de la National Science Foundation.
###
Article rédigé par Adam Zewe, service de presse du MIT
