麻省理工学院、麻省理工学院-IBM沃森人工智能实验室以及其他机构的研究人员开发了一种更高效的计算机视觉模型，显著降低了这项任务的计算复杂度。他们的模型能够在硬件资源有限的设备上（例如自动驾驶汽车的车载计算机，这些计算机使自动驾驶汽车能够在瞬间做出决策）实时准确地执行语义分割。.
最新的语义分割模型直接学习图像中每对像素之间的相互作用，因此其计算量会随着图像分辨率的提高呈二次方增长。所以，尽管这些模型精度很高，但处理高分辨率图像的速度太慢，无法在传感器或手机等外围设备上实时运行。.
麻省理工学院的研究人员设计了一种新的语义分割模型构建模块，该模块实现了与这些最先进的模型相同的功能，但计算复杂度仅为线性，且硬件效率高。.
最终成果是一系列全新的高分辨率计算机视觉模型，在移动设备上部署时，其运行速度比以往模型快九倍。更重要的是，这一系列新模型的精度与现有模型相比毫不逊色，甚至更胜一筹。.
这项技术不仅可以用于帮助自动驾驶汽车做出实时决策，还可以提高其他高分辨率计算机视觉任务（如医学图像分割）的效率。.
“尽管研究人员长期以来一直在使用传统的视觉变换器，并且它们取得了惊人的成果，但我们希望人们也能关注这些模型的效率方面。我们的工作表明，可以大幅减少计算量，从而在设备本地执行实时图像分割，” 麻省理工学院电子与计算机工程系（EECS）副教授、麻省理工学院-IBM沃森人工智能实验室成员、描述新模型的论文第一作者宋汉（音译）说道。
这篇文章的作者还包括麻省理工学院电子工程与计算机科学系研究生蔡韩、浙江大学学生李俊彦、清华大学学生胡慕艳以及麻省理工学院-IBM沃森人工智能实验室高级研究员甘闯。该研究成果将在国际计算机视觉会议上发表。.
简化的解决方案
对一张可能包含数百万像素的高分辨率图像中的每个像素进行分类，对于机器学习模型来说是一项艰巨的任务。近年来，一种名为视觉Transformer的强大新型模型得到了有效应用。.
Transformer模型最初是为自然语言处理而开发的。在自然语言处理中，它将句子中的每个词编码为一个词元（token），然后生成一个注意力图，该注意力图捕捉了每个词元与其他所有词元之间的关系。这个注意力图帮助模型在进行预测时理解上下文。.
基于相同的概念，视觉转换器将图像分割成像素块，并将每个小像素块编码成一个标记，然后生成注意力图。在生成注意力图时，模型使用相似性函数直接学习每对像素之间的交互作用。通过这种方式，模型构建了所谓的全局感受野，这意味着它可以访问图像的所有相关部分。.
由于高分辨率图像可能包含数百万像素，并被分割成数千个图像块，注意力图很快就会变得非常庞大。因此，计算量会随着图像分辨率的提高呈二次方增长。.
在他们名为 EfficientViT 的一系列新模型中，麻省理工学院的研究人员使用了一种更简单的机制来构建注意力图：他们用线性相似性函数取代了非线性相似性函数。这使得他们能够重新排列运算顺序，从而在不改变功能或损失整体感受野的情况下减少总计算量。在他们的模型中，预测所需的计算量随着图像分辨率的增加呈线性增长。.
“但天下没有免费的午餐。线性注意力机制只能捕捉图像的整体上下文，而忽略了局部信息，这会降低准确率，”韩解释道。
为了弥补精度的损失，研究人员在模型中加入了两个额外的组件，每个组件只会增加少量的计算量。.
其中一个要素有助于模型捕捉局部特征之间的相互作用，从而弥补线性函数在提取局部信息方面的不足。第二个要素是一个支持多尺度学习的模块，有助于模型识别大小不同的物体。.
蔡说： “最重要的是要仔细平衡性能和效率。”
他们设计的 EfficientViT 采用硬件适配架构，使其更容易在各种设备上运行，例如虚拟现实头戴式设备或自动驾驶汽车中的边缘计算机。他们的模型还可以应用于其他计算机视觉任务，例如图像分类。.
语义分割的合理化
当他们使用语义分割数据集测试他们的模型时，他们发现，在英伟达图形处理单元 (GPU) 上，该模型的性能比其他流行的视觉转换模型快九倍，并且具有相同或更高的准确度。.
“现在我们可以兼得两者的优势，降低计算能力，使其速度足够快，可以在移动设备和云端运行，”韩说。.
基于这些结果，研究人员希望将这项技术应用于加速生成式机器学习模型，例如用于生成新图像的模型。他们还希望将 EfficientViT 进一步扩展到其他视觉任务。.
“模型压缩和轻量级模型设计是实现高效人工智能计算的关键研究课题，尤其是在大型数据库模型方面。宋汉教授的团队在压缩和加速现代深度学习模型（特别是视觉Transformer模型）方面取得了显著进展，”甲骨文公司人工智能和机器学习全球副总裁杰伊·杰克逊（Jay Jackson）补充道，他并未参与这项研究。“甲骨文云基础设施一直支持他的团队推进这项意义重大的研究，以实现高效、绿色的人工智能。”.
###
作者：亚当·泽维，麻省理工学院新闻
