Однако новая методика, разработанная исследователями из Массачусетского технологического института, потребует всего лишь нескольких демонстраций человеком для перепрограммирования робота. Этот метод машинного обучения позволяет роботу поднимать и перемещать невидимые объекты в случайных положениях, с которыми он никогда раньше не сталкивался. Через 10-15 минут робот будет готов к выполнению новой задачи по захвату и перемещению объектов.

Данная методика использует нейронную сеть, специально разработанную для восстановления форм 3D-объектов. Всего за несколько демонстраций система, используя знания нейронной сети о 3D-геометрии, захватывает новые объекты, похожие на те, что были показаны в демонстрациях.

В ходе моделирования и с использованием реального роботизированного манипулятора исследователи продемонстрировали, что их система может эффективно манипулировать ранее невиданными чашками, мисками и бутылками, расположенными в случайных положениях, используя всего 10 демонстраций для обучения робота.

«Наш главный вклад заключается в возможности более эффективно наделять роботов новыми навыками, необходимыми для работы в более неструктурированных средах, где может быть много вариативности. Концепция обобщения путем построения — это захватывающая возможность, поскольку эта проблема обычно гораздо сложнее», — говорит Энтони Симеонов, аспирант кафедры электротехники и вычислительной техники (EECS) и соавтор статьи.

В соавторстве с Илуном Ду, аспирантом факультета электротехники и информатики, Андреа Тальясакки, научным сотрудником Google Brain, Джошуа Б. Тенебаумом, профессором когнитивных наук и вычислительной техники имени Пола Э. Ньютона на кафедре когнитивных и нейробиологических наук и членом Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), Альберто Родригесом, доцентом кафедры машиностроения (выпуск 1957 года), а также ведущими авторами Пулкитом Агравалом, профессором CSAIL, и Винсентом Зитцманном, будущим доцентом факультета электротехники и информатики, Симеонов будет представлен на Международной конференции по робототехнике и автоматизации.

Геометрия рукоятки

Робот может быть обучен поднимать определенный объект, но если этот объект лежит на боку (например, упал), робот воспринимает это как совершенно новую ситуацию. Это одна из причин, почему системам машинного обучения так сложно обобщать данные на новые ориентации объектов.

Для решения этой задачи исследователи создали новый тип нейронной сети — нейронное дескрипторное поле (NDF), которое изучает трехмерную геометрию класса объектов. Модель вычисляет геометрическое представление конкретного объекта, используя трехмерное облако точек, представляющее собой набор точек данных или координат в трех измерениях. Точки данных могут быть получены с помощью камеры глубины, которая предоставляет информацию о расстоянии между объектом и точкой обзора. Хотя сеть была обучена в симуляции с использованием большого набора данных синтетических трехмерных форм, ее можно применять непосредственно к реальным объектам.

Команда разработала NDF с свойством, известным как равноудаленность. Благодаря этому свойству, если модели показать изображение чашки в вертикальном положении, а затем изображение той же чашки в горизонтальном положении, она поймет, что вторая чашка — это тот же объект, только повернутый.

«Именно эта неоднозначность позволяет нам гораздо эффективнее справляться со случаями, когда наблюдаемый объект имеет произвольную ориентацию», — говорит Симеонов.

По мере того, как нейронная сеть учится восстанавливать формы похожих объектов, она также учится связывать связанные части этих объектов. Например, она учится различать ручки чашек, даже если некоторые чашки выше или шире других, или имеют более короткие или более длинные ручки.

«Если бы вы захотели сделать это другим способом, вам пришлось бы вручную размечать все части. Вместо этого наш метод автоматически обнаруживает эти части на основе реконструкции формы», — говорит Ду.

Исследователи используют эту обученную модель NDF для обучения робота новому навыку всего на нескольких физических примерах. Они перемещают руку робота над той частью объекта, которую хотят, чтобы он захватил, например, край миски или ручку чашки, и записывают положение кончиков его пальцев.

Как объясняет Ду, поскольку NDF много узнала о 3D-геометрии и о том, как восстанавливать формы, она может определять структуру новой формы, что позволяет системе переносить эти данные на новые объекты в произвольных положениях.

Выберите победителя

Они протестировали свою модель в симуляциях и на реальном роботизированном манипуляторе, используя в качестве объектов чашки, миски и бутылки. Их метод достиг 85% успеха в задачах, связанных с захватом и размещением новых объектов в новых положениях, в то время как лучший базовый метод показал лишь 45% успеха. Успех определяется как захват нового объекта и размещение его в определенном месте, например, подвешивание чашек на полке.

Многие базовые методы используют информацию о двумерных изображениях вместо трехмерной геометрии, что затрудняет учет равного расстояния в этих методах. Это одна из причин, почему метод NDF показал гораздо лучшие результаты.

Хотя исследователи удовлетворены результатами работы метода, он применим только к той конкретной категории объектов, на которой проводилось обучение. Робот, обученный поднимать чашки, не сможет поднимать коробки или наушники, поскольку геометрические характеристики этих объектов слишком сильно отличаются от характеристик обученной нейронной сети.

«В будущем идеальным вариантом было бы расширить его до множества категорий или вовсе отказаться от понятия категории», — говорит Симеонов.

Они также планируют адаптировать систему к нежестким объектам и, в долгосрочной перспективе, позволить системе выполнять задачи выбора и размещения при изменении целевой области.

Данная работа частично финансируется Агентством перспективных оборонных исследований (DARPA), Сингапурским агентством оборонной науки и технологий и Национальным научным фондом.

###

Автор: Адам Зеве, пресс-служба Массачусетского технологического института