„Wenn diese Roboter derzeit so trainiert werden, wissen wir im Fehlerfall nicht genau, warum. Wir geben dann auf und sagen: ‚Okay, dann müssen wir wohl von vorne anfangen.‘ Ein entscheidender, fehlender Bestandteil dieses Systems ist die Möglichkeit für den Roboter, den Fehler zu demonstrieren, damit der Benutzer Feedback geben kann“, erklärt Andi Peng, Doktorandin im Bereich Elektrotechnik und Informatik (EECS) am MIT.

Peng und seine Mitarbeiter am MIT, der New York University und der University of California, Berkeley, haben ein System entwickelt, das es Menschen ermöglicht, einem Roboter mit minimalem Aufwand schnell beizubringen, was er tun soll.

Wenn ein Roboter eine Fehlfunktion aufweist, generiert das System mithilfe eines Algorithmus alternative Erklärungen, die beschreiben, was geändert werden müsste, damit der Roboter erfolgreich funktioniert. Beispielsweise hätte der Roboter die Tasse möglicherweise aufheben können, wenn sie eine bestimmte Farbe gehabt hätte. Das System präsentiert diese alternativen Erklärungen dem Benutzer und fragt nach den Gründen für das Versagen des Roboters. Anschließend nutzt das System diese Informationen und die alternativen Erklärungen, um neue Daten zu generieren und den Roboter weiter zu optimieren.

Die Anpassung besteht darin, ein bereits für eine bestimmte Aufgabe trainiertes Machine-Learning-Modell so zu modifizieren, dass es eine zweite, ähnliche Aufgabe ausführen kann.

Forscher testeten diese Technik in Simulationen und stellten fest, dass sie Roboter effektiver trainieren konnte als andere Methoden. Mit dieser Technik trainierte Roboter zeigten bessere Leistungen, und der Trainingsprozess erforderte weniger menschliche Arbeitszeit.

Dieses System könnte Robotern helfen, sich in neuen Umgebungen schneller einzuarbeiten, ohne dass der Nutzer technisches Fachwissen benötigt. Langfristig könnte es ein wichtiger Schritt hin zu universell einsetzbaren Robotern sein, die alltägliche Aufgaben für ältere Menschen oder Menschen mit Behinderungen in verschiedenen Umgebungen effektiv übernehmen können.

Peng, der Erstautor, wird von den Koautoren Aviv Netanyahu (Absolvent der Elektrotechnik und Informatik), Mark Ho (Dozent am Stevens Institute of Technology), Tianmin Shu (Postdoktorand am MIT) und Andreea Bobu (Absolventin der UC Berkeley) sowie den Seniorautoren Julie Shah (Professorin für Luft- und Raumfahrttechnik am MIT und Leiterin der Interactive Robotics Group am Computer Science and Artificial Intelligence Laboratory (CSAIL)) und Pulkit Agrawal (Professor am CSAIL) unterstützt. Die Forschungsergebnisse werden auf der International Conference on Machine Learning präsentiert.

Ausbildung am Arbeitsplatz

Roboter versagen häufig aufgrund von Layoutänderungen: Der Roboter wird mit Objekten und Räumen konfrontiert, die er während des Trainings nicht gesehen hat, und versteht nicht, was er in dieser neuen Umgebung tun soll.

Eine Möglichkeit, einen Roboter für eine bestimmte Aufgabe umzuschulen, ist das Lernen durch Nachahmung. Der Benutzer kann die korrekte Aufgabe vorführen, um dem Roboter beizubringen, was zu tun ist. Wenn ein Benutzer einem Roboter beibringen möchte, eine Tasse aufzuheben, und dies mit einer weißen Tasse demonstriert, lernt der Roboter möglicherweise, dass alle Tassen weiß sind. Daher wird er möglicherweise keine rote, blaue oder braune Tasse aufheben.

Um einem Roboter beizubringen, dass er eine Tasse als Tasse erkennt, unabhängig von ihrer Farbe, wären Tausende von Vorführungen nötig.

„Ich möchte keine Vorführungen mit 30.000 Bechern machen müssen. Ich möchte eine Vorführung mit nur einem Becher machen. Aber dann muss ich dem Roboter beibringen, zu erkennen, dass er einen Becher jeder Farbe aufheben kann“, erklärt Peng.

Um dies zu erreichen, ermittelt das System der Forscher, welches Objekt für den Nutzer relevant ist (eine Tasse) und welche Elemente für die Aufgabe unwichtig sind (beispielsweise die Farbe der Tasse). Mithilfe dieser Informationen generiert es neue synthetische Daten, indem es diese „unwichtigen“ visuellen Konzepte verändert. Dieser Prozess wird als Datenaugmentation bezeichnet.

Das Framework besteht aus drei Schritten. Zunächst wird die Aufgabe dargestellt, die zum Fehlschlagen des Roboters geführt hat. Anschließend wird eine Benutzerdemonstration der gewünschten Aktionen erfasst und durchsucht alle Merkmale des Testraums nach den notwendigen Änderungen für den Erfolg des Roboters, um kontrafaktische Szenarien zu generieren.

Das System zeigt dem Benutzer diese kontrafaktischen Szenarien an und bittet um Feedback, um festzustellen, welche visuellen Konzepte die gewünschte Handlung nicht beeinflussen. Anschließend nutzt es dieses menschliche Feedback, um zahlreiche neue, erweiterte Demonstrationen zu generieren.

Auf diese Weise könnte der Benutzer das Aufheben einer Tasse demonstrieren, woraufhin das System Demonstrationen der gewünschten Aktion mit Tausenden verschiedener Tassen durch Ändern ihrer Farbe erzeugt. Anhand dieser Daten wird der Roboter feinabgestimmt.

Laut Peng ist es für den Erfolg dieser Technik unerlässlich, kontrafaktische Erklärungen zu erstellen und die Meinung des Nutzers einzuholen.

Vom menschlichen zum robotischen Denken:
Da die Forscher mit ihrer Arbeit den Menschen in den Trainingsprozess einbeziehen wollen, testeten sie ihre Technik mit menschlichen Nutzern. Zunächst führten sie eine Studie durch, in der sie die Teilnehmer fragten, ob kontrafaktische Erklärungen ihnen halfen, Elemente zu identifizieren, die verändert werden konnten, ohne die Aufgabe zu beeinträchtigen.

„Es war von Anfang an ganz klar. Menschen sind sehr gut in dieser Art von kontrafaktischem Denken. Und dieser kontrafaktische Schritt ermöglicht es uns, menschliches Denken auf sinnvolle Weise in robotisches Denken zu übersetzen“, sagt er.

Anschließend wandten sie ihr Framework auf drei Simulationen an, in denen Roboter zu einem Objekt navigieren, einen Schlüssel aufheben und eine Tür öffnen sowie einen gewünschten Gegenstand aufnehmen und auf einen Tisch legen mussten. In allen Fällen ermöglichte ihre Methode dem Roboter ein schnelleres Lernen als andere Techniken und erforderte gleichzeitig weniger Demonstrationen durch die Benutzer.

Die Forscher hoffen, dieses Framework künftig an realen Robotern zu testen. Außerdem wollen sie die Zeit, die das System zur Generierung neuer Daten benötigt, mithilfe generativer Modelle des maschinellen Lernens verkürzen.

„Wir wollen, dass Roboter das tun, was Menschen tun, und zwar auf eine semantisch sinnvolle Weise. Menschen bewegen sich tendenziell in einem abstrakten Bereich, in dem sie nicht über jede einzelne Eigenschaft eines Bildes nachdenken. Letztendlich geht es darum, einem Roboter zu ermöglichen, eine gute, menschenähnliche Repräsentation auf abstrakter Ebene zu erlernen“, sagt Peng.

Diese Forschung wurde teilweise finanziert durch ein Graduiertenforschungsstipendium der National Science Foundation, Open Philanthropy, ein Apple AI/ML-Stipendium, die Hyundai Motor Corporation, das MIT-IBM Watson AI Lab und das Institut für Künstliche Intelligenz und Fundamentale Interaktionen der National Science Foundation.

###

Verfasst von Adam Zewe, MIT-Pressestelle