Eine neue, von MIT-Forschern entwickelte Technik benötigt jedoch nur wenige menschliche Vorführungen, um den Roboter umzuprogrammieren. Dieses maschinelle Lernverfahren ermöglicht es dem Roboter, unbekannte Objekte aufzuheben und an zufälligen, ihm unbekannten Positionen abzulegen. Innerhalb von 10 bis 15 Minuten ist der Roboter bereit für eine neue Aufgabe.

Das Verfahren nutzt ein speziell entwickeltes neuronales Netzwerk zur Rekonstruktion der Formen von 3D-Objekten. Nach nur wenigen Demonstrationen verwendet das System das im neuronalen Netzwerk erlernte Wissen über 3D-Geometrie, um neue, ähnliche Objekte zu erfassen.

In Simulationen und mithilfe eines realen Roboterarms demonstrierten die Forscher, dass ihr System nie zuvor gesehene Tassen, Schüsseln und Flaschen, die in zufälligen Positionen angeordnet waren, effektiv manipulieren konnte, und zwar mit nur 10 Demonstrationen, um dem Roboter das beizubringen.

„Unser Hauptbeitrag besteht in der Fähigkeit, Robotern, die in unstrukturierteren Umgebungen mit hoher Variabilität agieren müssen, effizienter neue Fähigkeiten zu vermitteln. Das Konzept der Generalisierung durch Konstruktion ist eine faszinierende Fähigkeit, da dieses Problem normalerweise viel schwieriger ist“, sagt Anthony Simeonov, Doktorand der Elektrotechnik und Informatik (EECS) und Mitautor der Studie.

Simeonov verfasste den Artikel gemeinsam mit Yilun Du, einer Doktorandin der Elektrotechnik und Informatik (EECS); Andrea Tagliasacchi, Wissenschaftlerin bei Google Brain; Joshua B. Tenenbaum, Paul E. Newton Career Development Professor für Kognitionswissenschaft und Informatik am Institut für Kognitions- und Neurowissenschaften und Mitglied des Labors für Informatik und Künstliche Intelligenz (CSAIL); Alberto Rodriguez, außerordentlicher Professor (Abschlussjahrgang 1957) am Institut für Maschinenbau; sowie den Erstautoren Pulkit Agrawal, Professor am CSAIL, und Vincent Sitzmann, zukünftiger Assistenzprofessor an der EECS. Die Forschungsergebnisse werden auf der Internationalen Konferenz für Robotik und Automatisierung präsentiert.

Griffgeometrie

Ein Roboter kann darauf trainiert werden, einen bestimmten Gegenstand aufzuheben. Liegt dieser Gegenstand jedoch auf der Seite (beispielsweise weil er heruntergefallen ist), nimmt der Roboter dies als völlig neue Situation wahr. Dies ist einer der Gründe, warum es Systemen des maschinellen Lernens so schwerfällt, auf neue Objektorientierungen zu generalisieren.

Um diese Herausforderung zu bewältigen, entwickelten Forscher ein neuartiges neuronales Netzwerkmodell, ein sogenanntes Neural Descriptor Field (NDF), das die 3D-Geometrie einer Objektklasse erlernt. Das Modell berechnet die geometrische Repräsentation eines bestimmten Objekts mithilfe einer 3D-Punktwolke, also einer Menge von Datenpunkten oder Koordinaten in drei Dimensionen. Die Datenpunkte können mithilfe einer Tiefenkamera erfasst werden, die Informationen über die Entfernung zwischen dem Objekt und einem Betrachtungspunkt liefert. Obwohl das Netzwerk in einer Simulation mit einem großen Datensatz synthetischer 3D-Formen trainiert wurde, lässt es sich direkt auf reale Objekte anwenden.

Das Team entwickelte das NDF mit einer Eigenschaft namens Äquidistanz. Dank dieser Eigenschaft erkennt das Modell, wenn ihm zuerst ein Bild einer aufrecht stehenden Tasse und anschließend ein Bild derselben Tasse seitlich gezeigt wird, dass es sich bei der zweiten Tasse um dasselbe Objekt handelt, nur gedreht.

„Diese Mehrdeutigkeit ermöglicht es uns, Fälle, in denen sich das beobachtete Objekt in beliebiger Ausrichtung befindet, viel effektiver zu behandeln“, sagt Simeonov.

Indem das NDF lernt, die Formen ähnlicher Objekte zu rekonstruieren, lernt es auch, zusammengehörige Teile dieser Objekte zuzuordnen. Zum Beispiel lernt es, dass die Henkel von Tassen ähnlich sind, selbst wenn manche Tassen höher oder breiter sind als andere oder kürzere oder längere Henkel haben.

„Wenn man dies mit einem anderen Ansatz machen wollte, müsste man alle Teile manuell beschriften. Unsere Methode hingegen erkennt diese Teile automatisch aus der Rekonstruktion der Form“, sagt Du.

Forscher nutzen dieses trainierte NDF-Modell, um einem Roboter anhand weniger praktischer Beispiele eine neue Fähigkeit beizubringen. Sie bewegen die Hand des Roboters über den Teil eines Objekts, den er greifen soll, beispielsweise den Rand einer Schüssel oder den Henkel einer Tasse, und erfassen die Position seiner Fingerspitzen.

Da NDF viel über 3D-Geometrie und die Rekonstruktion von Formen gelernt hat, kann es die Struktur einer neuen Form ableiten, wodurch das System die Beweise auf neue Objekte in beliebigen Posen übertragen kann, erklärt Du.

Wähle einen Gewinner

Sie testeten ihr Modell in Simulationen und an einem realen Roboterarm mit Tassen, Schüsseln und Flaschen als Objekte. Ihre Methode erreichte eine Erfolgsquote von 85 % bei Aufgaben, die das Aufnehmen und Platzieren unbekannter Objekte in neuen Ausrichtungen beinhalteten, während der beste Vergleichsansatz nur eine Erfolgsquote von 45 % erzielte. Erfolg wird definiert als das Greifen eines neuen Objekts und dessen Platzierung an einem bestimmten Ort, beispielsweise das Aufhängen von Tassen in einem Regal.

Viele Vergleichsmethoden verwenden 2D-Bildinformationen anstelle von 3D-Geometrie, was die Berücksichtigung der Äquidistanz erschwert. Dies ist einer der Gründe, warum die NDF-Technik deutlich besser funktionierte.

Obwohl die Forscher mit der Leistung zufrieden sind, funktioniert ihre Methode nur für die spezifische Objektkategorie, mit der sie trainiert wurde. Ein Roboter, der gelernt hat, Tassen aufzuheben, kann keine Kartons oder Kopfhörer aufheben, da diese Objekte zu unterschiedliche geometrische Eigenschaften aufweisen als das trainierte Netzwerk.

„In Zukunft wäre es ideal, das System auf viele Kategorien auszuweiten oder den Begriff der Kategorie ganz aufzugeben“, sagt Simeonov.

Sie planen außerdem, das System an nicht starre Objekte anzupassen und langfristig die Möglichkeit zu schaffen, dass das System Auswahl- und Platzierungsaufgaben durchführt, wenn sich der Zielbereich ändert.

Diese Arbeit wird teilweise von der Defence Advanced Research Projects Agency, der Singapore Defence Science and Technology Agency und der National Science Foundation finanziert.

###

Verfasst von Adam Zewe, MIT-Pressestelle