但麻省理工学院研究人员开发的一种新技术只需几次人工演示即可重新编程机器人。这种机器学习方法使机器人能够拾取并放置从未见过的随机位置的物体。只需10到15分钟，机器人即可执行新的拾取和放置任务。.

这项技术使用了一种专门用于重建三维物体形状的神经网络。只需几次演示，系统就能利用神经网络学习到的三维几何知识来识别与演示中类似的全新物体。.

研究人员通过模拟和使用真正的机械臂证明，他们的系统能够有效地操纵以前从未见过的、以随机姿势排列的杯子、碗和瓶子，而只需 10 次演示即可教会机器人。.

“我们的主要贡献在于，我们能够更高效地为需要在非结构化环境中运行的机器人提供新技能，而这种环境可能存在很多变数。通过构造进行泛化的概念非常吸引人，因为这个问题通常要困难得多，” 电子与计算机工程（EECS）专业的研究生、论文合著者安东尼·西蒙诺夫说道。

西蒙诺夫与电子工程与计算机科学系研究生杜一伦、谷歌大脑研究科学家安德烈亚·塔利亚萨基、认知与脑科学系保罗·E·牛顿认知科学与计算职业发展教授兼计算机科学与人工智能实验室（CSAIL）成员约书亚·B·特内鲍姆、机械工程系1957届副教授阿尔贝托·罗德里格斯以及第一作者、CSAIL教授普尔基特·阿格拉瓦尔和即将入职电子工程与计算机科学系的助理教授文森特·西茨曼共同撰写了这篇文章。该研究成果将在国际机器人与自动化大会上发表。.

握把几何形状

机器人可能经过训练后能够拾取特定物体，但如果该物体侧翻在地（例如掉落），机器人会将其视为一种全新的情况。这正是机器学习系统难以泛化到新的物体方向的原因之一。.

为了克服这一挑战，研究人员创建了一种新型神经网络模型——神经描述符场（NDF），它可以学习一类物体的三维几何形状。该模型利用三维点云（一组三维数据点或坐标）计算特定物体的几何表示。这些数据点可以从深度相机获取，深度相机提供物体与视点之间的距离信息。尽管该网络是在包含大量合成三维形状的仿真数据集上进行训练的，但它可以直接应用于现实世界的物体。.

该团队设计的NDF具有一个名为“等距”的特性。利用这一特性，如果向模型展示一个竖直放置的杯子图像，然后再展示同一个杯子侧放的图像，模型就能理解第二个杯子是同一个物体，只是旋转了方向。.

“正是这种模糊性使我们能够更有效地处理被观察对象处于任意方向的情况，” 西蒙诺夫说。

随着自然数字框架（NDF）学习重建相似物体的形状，它也学会了将这些物体的相关部分关联起来。例如，它学会了杯子的把手是相似的，即使有些杯子比其他杯子更高或更宽，或者把手更短或更长。.

杜说： “如果用其他方法，就必须手动标记所有部件。而我们的方法可以从形状重建中自动发现这些部件。”

研究人员利用这种训练好的NDF模型，仅通过几个实物示例就能教会机器人一项新技能。他们将机器人的机械臂移动到想要抓取的物体部位，例如碗的边缘或杯子的把手，并记录其指尖的位置。.

杜解释说，由于 NDF 已经学习了很多关于 3D 几何以及如何重建形状的知识，它可以推断出新形状的结构，从而使系统能够将证明转移到任意姿态的新对象上。.

选出获胜者

他们使用杯子、碗和瓶子等物体，在模拟环境和真实的机械臂上测试了他们的模型。在抓取和放置新物体并将其放置在新方向的任务中，他们的方法成功率达到了 85%，而最佳基线模型的成功率仅为 45%。成功被定义为抓取新物体并将其放置在特定位置，例如将杯子挂在架子上。.

许多基线方法使用二维图像信息而非三维几何信息，这使得这些方法更难实现等距性。这也是NDF技术效果更佳的原因之一。.

尽管研究人员对该方法的性能感到满意，但它仅适用于训练时使用的特定类别物体。一个被训练成能够拾取杯子的机器人无法拾取盒子或耳机，因为这些物体的几何特征与训练网络的特征差异太大。.

“未来理想的情况是将其扩展到许多类别，或者完全放弃类别的概念，” 西蒙诺夫说。

他们还计划使该系统适应非刚性物体，并且从长远来看，允许该系统在目标区域发生变化时执行选择和放置任务。.

这项研究的部分资金来自美国国防高级研究计划局、新加坡国防科技局和国家科学基金会。.

###

作者：亚当·泽维，麻省理工学院新闻办公室