Исследователи из Массачусетского технологического института, лаборатории MIT-IBM Watson AI и других учреждений разработали более эффективную модель компьютерного зрения, которая значительно снижает вычислительную сложность этой задачи. Их модель может точно выполнять семантическую сегментацию в реальном времени на устройстве с ограниченными аппаратными ресурсами, например, на бортовых компьютерах, позволяющих автономным транспортным средствам принимать решения за доли секунды.

Новейшие модели семантической сегментации напрямую обучаются взаимодействию между каждой парой пикселей изображения, поэтому их вычислительные мощности растут квадратично с увеличением разрешения изображения. Следовательно, хотя эти модели и точны, они слишком медленны для обработки изображений высокого разрешения в реальном времени на периферийном устройстве, таком как датчик или мобильный телефон.

Исследователи из Массачусетского технологического института разработали новый строительный блок для моделей семантической сегментации, который обеспечивает те же возможности, что и эти передовые модели, но с линейной вычислительной сложностью и эффективными с точки зрения аппаратного обеспечения операциями.

В результате появилась новая серия высокоточных моделей компьютерного зрения, которые при использовании на мобильных устройствах работают до девяти раз быстрее, чем предыдущие модели. Что еще более важно, эта новая серия моделей обеспечивает точность, равную или превосходящую точность альтернативных моделей.

Этот метод может быть использован не только для помощи автономным транспортным средствам в принятии решений в режиме реального времени, но и для повышения эффективности других задач компьютерного зрения высокого разрешения, таких как сегментация медицинских изображений.

«Хотя исследователи давно используют традиционные модели преобразования изображений, и они дают потрясающие результаты, мы хотим, чтобы люди также обратили внимание на эффективность этих моделей. Наша работа демонстрирует, что можно значительно сократить вычислительные затраты, так что сегментация изображений в реальном времени может выполняться локально на устройстве», — говорит Сонг Хан, доцент кафедры электротехники и вычислительной техники (EECS), член лаборатории искусственного интеллекта MIT-IBM Watson и ведущий автор статьи, описывающей новую модель.

Вместе с ним над статьей работали Хань Цай, аспирант факультета электротехники и информатики; Цзюньян Ли, студент Чжэцзянского университета; Муян Ху, студент Университета Цинхуа; и Чжуан Гань, старший научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson. Результаты исследования будут представлены на Международной конференции по компьютерному зрению.

Упрощенное решение

Классификация каждого пикселя в изображении высокого разрешения, которое может содержать миллионы пикселей, является сложной задачей для модели машинного обучения. В последнее время эффективно используется новый мощный тип модели, известный как Vision Transformer.

Трансформеры изначально были разработаны для обработки естественного языка. В этом контексте они кодируют каждое слово в предложении как токен, а затем генерируют карту внимания, которая отражает взаимосвязь каждого токена со всеми другими токенами. Эта карта внимания помогает модели понимать контекст при построении прогнозов.

Используя тот же принцип, модель обработки изображений разбивает изображение на пиксельные фрагменты и кодирует каждый небольшой фрагмент в токен, прежде чем сгенерировать карту внимания. При генерации этой карты внимания модель использует функцию подобия, которая напрямую изучает взаимодействие между каждой парой пикселей. Таким образом, модель формирует так называемое глобальное рецептивное поле, то есть она может получить доступ ко всем релевантным частям изображения.

Поскольку изображение высокого разрешения может содержать миллионы пикселей, разделенных на тысячи фрагментов, карта внимания быстро становится огромной. Следовательно, объем вычислений увеличивается квадратично с увеличением разрешения изображения.

В своей новой серии моделей, получившей название EfficientViT, исследователи из Массачусетского технологического института используют более простой механизм для построения карты внимания: они заменяют нелинейную функцию подобия линейной. Это позволяет им изменять порядок операций, чтобы уменьшить общее количество вычислений без изменения функциональности или потери общего рецептивного поля. В их модели количество вычислений, необходимых для предсказания, линейно возрастает с увеличением разрешения изображения.

«Но бесплатного сыра не бывает. Линейное внимание улавливает только общий контекст изображения и упускает локальную информацию, что ухудшает точность», — объясняет Хан.

Чтобы компенсировать эту потерю точности, исследователи включили в свою модель два дополнительных компонента, каждый из которых добавляет лишь небольшой объем вычислительных затрат.

Один из этих элементов помогает модели улавливать взаимодействие локальных признаков, компенсируя недостаток линейной функции в извлечении локальной информации. Второй, модуль, обеспечивающий многомасштабное обучение, помогает модели распознавать крупные и мелкие объекты.

«Самое важное — это тщательно сбалансировать производительность и эффективность», — говорит Цай.

Они разработали EfficientViT с аппаратно-адаптированной архитектурой, что упрощает его запуск на различных устройствах, таких как гарнитуры виртуальной реальности или периферийные компьютеры в беспилотных автомобилях. Их модель также может быть применена к другим задачам компьютерного зрения, например, к классификации изображений.

Рационализация семантической сегментации

Протестировав свою модель на наборах данных, используемых для семантической сегментации, они обнаружили, что она работает до девяти раз быстрее на графическом процессоре Nvidia (GPU), чем другие популярные модели Vision Transformer, при этом демонстрируя такую ​​же или более высокую точность.

«Теперь мы можем получить лучшее из обоих миров и снизить вычислительную мощность, чтобы сделать систему достаточно быстрой для работы на мобильных устройствах и в облаке», — говорит Хан.

На основе полученных результатов исследователи планируют применить эту методику для ускорения работы генеративных моделей машинного обучения, например, тех, которые используются для генерации новых изображений. Они также хотят расширить применение EfficientViT на другие задачи компьютерного зрения.

«Сжатие моделей и разработка облегченных моделей являются важнейшими направлениями исследований для достижения эффективных вычислений в области ИИ, особенно в контексте моделей больших баз данных. Группа профессора Сонг Хана продемонстрировала замечательный прогресс в сжатии и ускорении современных моделей глубокого обучения, в частности, моделей преобразования изображений», — добавляет Джей Джексон, глобальный вице-президент Oracle по искусственному интеллекту и машинному обучению, который не принимал участия в этом исследовании. «Oracle Cloud Infrastructure оказывает поддержку его команде в продвижении этого важного направления исследований в направлении эффективного и экологичного ИИ».

###

Автор статьи: Адам Зеве, MIT News