此外，从这团物质中塑造新的形状需要多个步骤，并使用不同的工具。对于机器人而言，学习一个包含众多可能选项、步骤繁多的操作任务尤其困难，因为学习通常是通过反复试错进行的。.

麻省理工学院、卡内基梅隆大学和加州大学圣地亚哥分校的研究人员设计了一种更优方案。他们创建了一个机器人操作系统框架，该框架采用两阶段学习过程，能够使机器人长时间执行复杂的批量操作任务。“主”算法会计算出机器人完成任务所需的每个步骤。然后，它会训练一个“学习者”机器学习模型，该模型学习关于何时以及如何执行任务所需技能（例如使用滚筒）的抽象概念。有了这些知识，系统就能推断出如何执行这些技能以完成任务。.

研究人员证明，他们称之为 DiffSkill 的这种方法可以在模拟中执行复杂的操控任务，例如切割和涂抹面团，或者在砧板上捡起面团碎片，其性能优于其他机器学习方法。.

除了制作披萨之外，这种方法还可以应用于机器人需要操作可变形物体的其他环境中，例如护理机器人可以喂食、洗澡或为老年人或行动不便的人穿衣。.

“这种方法更接近人类规划行动的方式。当人类执行一项长期任务时，我们不会写下每一个细节。我们有一个高层次的规划器，它会大致告诉我们各个阶段是什么，以及在此过程中我们需要实现的一些中间目标，然后我们再执行它们，”计算机科学与人工智能实验室 (CSAIL) 的研究生、DiffSkill 入门论文的作者李云柱说道。.

李的合作者包括资深作者、卡内基梅隆大学（CMU）研究生林星宇；加州大学圣地亚哥分校研究生黄志豪；麻省理工学院（MIT）认知与脑科学系保罗·E·牛顿专业发展教授、认知科学与计算主席、计算机科学与人工智能实验室（CSAIL）成员约书亚·B·特内鲍姆；卡内基梅隆大学兼职教授大卫·赫尔德；以及资深作者、麻省理工学院-IBM沃森人工智能实验室研究科学家甘庄。该研究成果将在国际表征学习大会上发表。.

学生和老师

在 DiffSkill 框架中，“教授”算法是一种路径优化算法，可以解决短期任务，即物体的初始状态和目标位置非常接近的情况。该路径优化器在一个模拟真实世界物理规律的模拟器中运行（该模拟器被称为可微物理模拟器，这也是“DiffSkill”中“Diff”的由来）。“教授”算法利用来自模拟器的信息，逐一学习物体在每个阶段的运动轨迹，然后输出这些路径。.

接下来，“学生”神经网络学习模仿教师的动作。它使用两张摄像头图像作为输入：一张显示物体当前状态，另一张显示物体完成任务后的状态。神经网络生成一个高级计划，以确定如何将不同的技能联系起来以实现目标。然后，它为每项技能生成特定的短期轨迹，并将指令直接发送给工具。.

研究人员利用这项技术进行了三种不同的模拟面团操作任务实验。在第一个任务中，机器人使用铲子将面团铲起并放在砧板上，然后用擀面杖将其擀平。在第二个任务中，机器人使用机械臂从操作台上抓取面团，将其放在铲子上，然后转移到砧板上。在第三个任务中，机器人用刀将一堆面团切成两半，然后使用机械臂将每块面团分别运送到不同的位置。.

远胜其他选手

DiffSkill 的性能优于最流行的强化学习技术，后者通过反复试错让机器人学习任务。事实上，DiffSkill 是唯一能够成功完成所有三项面团操作任务的方法。林教授表示，更有趣的是，研究人员发现“学生”神经网络甚至能够超越“教师”算法。.

林表示：“我们的框架为机器人获取新技能提供了一种新颖的方式。这些技能可以串联起来，解决超出以往机器人系统能力范围的更复杂的任务。”.

由于他们的方法侧重于工具控制（例如铲子、刀、滚筒等），因此可以应用于不同的机器人，但前提是这些机器人必须使用研究人员定义的特定工具。未来，他们计划将工具的形状整合到“学生”网络的推理过程中，以便将其应用于其他机器。.

研究人员旨在通过使用 3D 数据作为输入来提升 DiffSkill 的性能，而不是使用难以从模拟环境迁移到现实世界的图像。他们还希望提高神经网络的规划效率，并收集更多样化的训练数据，以增强 DiffSkill 对新情况的泛化能力。从长远来看，他们希望将 DiffSkill 应用于更多不同的任务，例如织物操控。.

这项工作的部分资金来自美国国家科学基金会、LG电子、麻省理工学院-IBM沃森人工智能实验室、海军研究办公室以及国防高级研究计划局的机器常识计划。.

###

作者：亚当·泽维，麻省理工学院新闻办公室