为了实现这一目标，麻省理工学院的研究人员开发了一个图像数据集，用于在机器学习模型中模拟周边视觉。他们发现，使用该数据集训练模型可以提高模型检测周边视觉物体的能力，但模型的性能仍然不如人类。.
他们的研究结果还表明，与人类不同，物体的大小或场景中的视觉杂乱程度对人工智能的性能没有重大影响。.
“这里发生了一些根本性的变化。我们测试了许多不同的模型，即使经过训练，它们也只会略有改进，但它们仍然无法完全模拟人类。所以问题是：这些模型究竟缺少什么？”瓦莎·杜特尔说道，她是博士后研究员，也是这篇详细阐述该研究的论文的合著者。
回答这个问题有助于研究人员创建能够像人类一样感知世界的机器学习模型。除了提高驾驶安全性之外，这些模型还可以用于开发更易于阅读的显示屏。.
此外，主要作者 Anne Harrington（2023 届工程硕士）补充说，更深入地了解人工智能模型中的周边视觉可以帮助研究人员更好地预测人类行为。.
“如果我们能够真正捕捉到周边视觉所描绘事物的本质，那么对周边视觉进行建模就能帮助我们理解视觉场景的特征，从而促使我们的眼睛移动以收集更多信息。”
合作作者包括电气与计算机工程系研究生马克·汉密尔顿（Mark Hamilton）、博士后研究员阿尤什·特瓦里（Ayush Tewari）、丰田研究院研究主任西蒙·斯滕特（Simon Stent），以及第一作者威廉·T·弗里曼（William T. Freeman），他是电气与计算机工程系托马斯和格尔德·珀金斯讲席教授，同时也是计算机科学与人工智能实验室（CSAIL）的成员；还有露丝·罗森霍尔茨（Ruth Rosenholtz），她是认知与脑科学系高级研究科学家，也是CSAIL的成员。该研究成果将在国际表征学习会议上发表。.
罗森霍尔茨说： “当人与机器（汽车、机器人、用户界面）互动时，了解人能看到什么非常重要。周边视觉在理解这种互动中起着至关重要的作用。”
模拟周边视觉
伸出手臂，抬起拇指：拇指指甲周围的小区域就是视网膜中央凹——视网膜中央那个提供最清晰视觉的小凹陷——所能看到的区域。其他一切都属于视觉周边。随着你远离这个清晰的焦点，视觉皮层对场景的渲染会变得越来越模糊，细节也越来越少。.
人工智能中许多现有的周边视觉建模方法通过模糊图像边缘来表示这种细节劣化，但视神经和视觉皮层中发生的信息丢失要复杂得多。.
为了获得更精确的方法，麻省理工学院的研究人员首先采用了一种用于模拟人类周边视觉的技术。这种被称为纹理镶嵌建模的方法，通过转换图像来模拟人类视觉信息的丢失。.
他们修改了这个模型，使其能够以类似的方式转换图像，但方式更加灵活，不需要事先知道人或人工智能会将目光投向哪里。.
“这使我们能够以与人类视觉研究相同的方式忠实地模拟周边视觉，” 哈灵顿说。
研究人员利用这种改进的技术生成了一个庞大的变换图像数据集，这些图像在某些区域看起来更有纹理，以表示当人眼看向更远的周边区域时发生的细节丢失。.
接下来，他们利用该数据集训练了几个计算机视觉模型，并将它们的性能与人类在目标检测任务中的表现进行了比较。.
“我们必须非常巧妙地设计实验，这样才能在机器学习模型上进行测试。我们不想因为模型不应该完成的简单任务而重新训练它们，” 他解释说。
奇特的表现
研究人员向人类受试者和模型展示了成对的变换图像，这些图像完全相同，唯一的区别在于其中一张图片的边缘位置有一个目标物体。然后，每位受试者被要求选择带有目标物体的图像。.
“真正让我们感到惊讶的是，人们在检测周边物体方面表现出色。我们测试了至少10组过于简单的图像，不得不使用越来越小的物体，” 哈灵顿补充道。
研究人员发现，从零开始使用他们的数据集训练模型能够带来最大的性能提升，并显著提高目标检测和识别能力。而使用他们的数据集对预训练模型进行微调（即对预训练模型进行微调以执行新任务）则带来的性能提升较小。.
但无论如何，机器的表现都不如人类，尤其是在检测远距离边缘物体方面表现糟糕。它们的表现模式也与人类不同。.
“这可能表明，这些模型在执行这些检测任务时，并没有像人类那样利用上下文信息。它们的策略可能有所不同，” 哈灵顿说。
研究人员计划继续探索这些差异，目标是找到一个能够预测人类周边视觉表现的模型。例如，这将使人工智能系统能够提醒驾驶员注意他们可能忽略的危险。他们还希望能够启发其他研究人员利用他们公开的数据集开展进一步的计算机视觉研究。.
这项工作的部分资金来自丰田研究院和麻省理工学院计算机科学与人工智能实验室 METEOR 奖学金。.
###
作者：亚当·泽维，麻省理工学院新闻
