Darüber hinaus erfordert die Formgebung aus dieser Masse mehrere Schritte und den Einsatz verschiedener Werkzeuge. Für einen Roboter ist das Erlernen einer Manipulationsaufgabe mit einer langen Abfolge von Schritten – bei der es viele mögliche Optionen gibt – besonders schwierig, da Lernen typischerweise durch Versuch und Irrtum erfolgt.

Forscher des MIT, der Carnegie Mellon University und der University of California, San Diego, haben einen verbesserten Ansatz entwickelt. Sie schufen ein Framework für ein robotisches Manipulationssystem, das einen zweistufigen Lernprozess nutzt. Dieser könnte es einem Roboter ermöglichen, komplexe Aufgaben zur Massenmanipulation über längere Zeiträume auszuführen. Ein „Master“-Algorithmus berechnet jeden einzelnen Schritt, den der Roboter zur Erfüllung der Aufgabe ausführen muss. Anschließend trainiert er ein „Lerner“-Modell für maschinelles Lernen, das abstrakte Konzepte darüber erlernt, wann und wie die einzelnen für die Aufgabe erforderlichen Fähigkeiten, wie beispielsweise die Verwendung einer Walze, ausgeführt werden müssen. Mit diesem Wissen berechnet das System, wie die Fähigkeiten zur Erfüllung der Aufgabe ausgeführt werden müssen.

Die Forscher demonstrieren, dass diese Methode, die sie DiffSkill nennen, komplexe Manipulationsaufgaben in Simulationen ausführen kann, wie das Schneiden und Verteilen von Teig oder das Aufnehmen von Teigstücken auf einem Schneidebrett, und dabei andere Methoden des maschinellen Lernens übertrifft.

Abgesehen von der Pizzaherstellung könnte diese Methode auch in anderen Bereichen Anwendung finden, in denen ein Roboter verformbare Objekte manipulieren muss, beispielsweise bei einem Pflegeroboter, der ältere Menschen oder Menschen mit Mobilitätsproblemen füttert, badet oder anzieht.

„Diese Methode ähnelt eher der menschlichen Vorgehensweise bei der Planung von Handlungen. Wenn wir eine langfristige Aufgabe erledigen, notieren wir nicht jedes Detail. Wir haben einen übergeordneten Planer, der uns grob die einzelnen Phasen und einige der Zwischenziele vorgibt, die wir auf dem Weg dorthin erreichen müssen, und dann setzen wir diese um“, sagt Yunzhu Li, Doktorand am Computer Science and Artificial Intelligence Laboratory (CSAIL) und Autor eines Einführungsartikels zu DiffSkill.

Zu Lis Koautoren gehören der Seniorautor Xingyu Lin, Doktorand an der Carnegie Mellon University (CMU); Zhiao Huang, Doktorand an der University of California, San Diego; Joshua B. Tenenbaum, Paul E. Newton Professor für berufliche Weiterbildung und Lehrstuhlinhaber für Kognitionswissenschaft und Informatik am Department für Kognitions- und Neurowissenschaften des MIT sowie Mitglied von CSAIL; David Held, Lehrbeauftragter an der CMU; und der Seniorautor Chuang Gan, Wissenschaftler am MIT-IBM Watson Artificial Intelligence Laboratory. Die Forschungsergebnisse werden auf der International Conference on Representational Learning präsentiert.

Schüler und Lehrer

Der „Professor“ im DiffSkill-Framework ist ein Pfadoptimierungsalgorithmus, der Aufgaben mit kurzem Zeithorizont lösen kann, bei denen der Anfangszustand und der Zielort eines Objekts nahe beieinander liegen. Der Pfadoptimierer arbeitet in einem Simulator, der die Physik der realen Welt modelliert (bekannt als differenzierbarer Physiksimulator, daher das „Diff“ in „DiffSkill“). Der „Professor“-Algorithmus nutzt die Informationen des Simulators, um schrittweise zu lernen, wie sich die Masse bewegen sollte, und gibt anschließend diese Pfade aus.

Anschließend lernt das neuronale Netzwerk des „Schülers“, die Aktionen des Lehrers nachzuahmen. Es verwendet zwei Kamerabilder als Eingabe: eines zeigt die Masse in ihrem aktuellen Zustand, das andere die Masse am Ende der Aufgabe. Das neuronale Netzwerk generiert einen übergeordneten Plan, um festzulegen, wie die verschiedenen Fähigkeiten verknüpft werden, um das Ziel zu erreichen. Anschließend generiert es spezifische kurzfristige Bewegungsabläufe für jede Fähigkeit und sendet Befehle direkt an die entsprechenden Werkzeuge.

Die Forscher nutzten diese Technik, um drei verschiedene simulierte Teigverarbeitungsaufgaben zu erproben. In einer Aufgabe hob der Roboter den Teig mit einem Spatel an, legte ihn auf ein Schneidebrett und rollte ihn anschließend mit einem Nudelholz aus. In einer anderen Aufgabe nahm der Roboter mit einem Greifer Teig von der Arbeitsfläche auf, legte ihn auf einen Spatel und transportierte ihn auf ein Schneidebrett. In der dritten Aufgabe teilte der Roboter einen Teighaufen mit einem Messer in zwei Hälften und transportierte die beiden Hälften anschließend mit einem Greifer an verschiedene Orte.

Eine Klasse besser als der Rest

DiffSkill übertraf die gängigsten Reinforcement-Learning-Verfahren, bei denen ein Roboter eine Aufgabe durch Ausprobieren erlernt. Tatsächlich war DiffSkill die einzige Methode, die alle drei Teigmanipulationsaufgaben erfolgreich lösen konnte. Interessanterweise entdeckten die Forscher, dass das neuronale Netzwerk des „Schülers“ sogar den „Lehrer“-Algorithmus übertraf, so Lin.

„Unser Rahmenwerk bietet Robotern eine neuartige Möglichkeit, neue Fähigkeiten zu erwerben. Diese Fähigkeiten können miteinander verknüpft werden, um komplexere Aufgaben zu lösen, die die Fähigkeiten bisheriger Robotersysteme übersteigen“, sagt Lin.

Da sich ihre Methode auf die Werkzeugsteuerung (Spatel, Messer, Walze usw.) konzentriert, ist sie zwar auf verschiedene Roboter anwendbar, jedoch nur, wenn diese die von den Forschern definierten Werkzeuge verwenden. Zukünftig planen sie, die Werkzeugform in die Logik des „Studenten“-Netzwerks zu integrieren, um die Methode auf andere Maschinen übertragen zu können.

Die Forscher wollen die Leistung von DiffSkill verbessern, indem sie 3D-Daten anstelle von Bildern als Eingabe verwenden, deren Übertragung von der Simulation in die reale Welt oft schwierig ist. Außerdem möchten sie den Planungsprozess des neuronalen Netzes effizienter gestalten und vielfältigere Trainingsdaten sammeln, um die Generalisierungsfähigkeit von DiffSkill auf neue Situationen zu verbessern. Langfristig hoffen sie, DiffSkill für diversere Aufgaben, wie beispielsweise die Manipulation von Textilien, einsetzen zu können.

Diese Arbeit wird teilweise finanziert von der National Science Foundation, LG Electronics, dem MIT-IBM Watson AI Lab, dem Office of Naval Research und dem Machine Common Sense-Programm der Defense Advanced Research Projects Agency.

###

Verfasst von Adam Zewe, MIT-Pressestelle