Сделав шаг в этом направлении, исследователи из Массачусетского технологического института разработали набор данных изображений, позволяющий моделировать периферийное зрение в моделях машинного обучения. Они обнаружили, что обучение моделей с использованием этого набора данных улучшило их способность обнаруживать объекты на периферии зрения, хотя модели по-прежнему показывали худшие результаты, чем люди.
Результаты их исследований также показали, что, в отличие от людей, ни размер объектов, ни количество визуального беспорядка в сцене не оказывали существенного влияния на производительность ИИ.
«Здесь происходит нечто фундаментальное. Мы протестировали множество различных моделей, и даже после обучения они немного улучшаются, но всё равно не совсем похожи на людей. Поэтому вопрос в том: чего не хватает этим моделям?» —говорит Ваша Дютелл, научный сотрудник и соавтор статьи, в которой подробно описывается это исследование.
Ответ на этот вопрос может помочь исследователям создать модели машинного обучения, способные воспринимать мир так, как его воспринимают люди. Помимо повышения безопасности водителей, эти модели можно будет использовать для разработки более удобных для чтения дисплеев.
Кроме того, более глубокое понимание периферийного зрения в моделях ИИ может помочь исследователям лучше прогнозировать поведение человека, добавляет ведущий автор исследования Энн Харрингтон, выпускница магистратуры 2023 года.
«Моделирование периферийного зрения, если мы сможем действительно уловить суть того, что изображено на периферии, может помочь нам понять характеристики визуальной сцены, которые заставляют наши глаза двигаться, чтобы собрать больше информации», — объясняет он.
В число соавторов входят Марк Гамильтон, аспирант кафедры электротехники и вычислительной техники; Аюш Тевари, научный сотрудник; Саймон Стент, директор по исследованиям в Исследовательском институте Toyota; а также ведущие авторы Уильям Т. Фриман, профессор кафедры электротехники и вычислительной техники имени Томаса и Герда Перкинса и член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL); и Рут Розенхольц, старший научный сотрудник кафедры когнитивных и нейробиологических наук и член CSAIL. Результаты исследования будут представлены на Международной конференции по репрезентативному обучению.
«Когда человек взаимодействует с машиной (автомобилем, роботом, пользовательским интерфейсом), очень важно знать, что он видит. Периферийное зрение играет фундаментальную роль в этом понимании», — говорит Розенхольц.
Имитация периферийного зрения
Вытяните руку вперед и поднимите большой палец: небольшая область вокруг ногтя — это то, что видит центральная ямка сетчатки — крошечное углубление в центре сетчатки, обеспечивающее наиболее четкое зрение. Все остальное находится на периферии зрения. По мере удаления от этой точки резкого фокуса зрительная кора обрабатывает изображение с меньшей детализацией и достоверностью.
Многие из существующих подходов к моделированию периферического зрения в ИИ отражают это ухудшение детализации путем размытия краев изображений, но потеря информации, происходящая в зрительном нерве и зрительной коре, гораздо сложнее.
Для достижения более точного подхода исследователи из Массачусетского технологического института начали с метода, используемого для моделирования периферического зрения у человека. Этот метод, известный как моделирование текстурной мозаики, преобразует изображения, чтобы представить потерю визуальной информации у человека.
Они модифицировали эту модель таким образом, чтобы она могла преобразовывать изображения аналогичным образом, но более гибким способом, не требующим предварительного знания того, куда человек или ИИ направят свой взгляд.
«Это позволило нам точно смоделировать периферийное зрение так же, как это делается в исследованиях человеческого зрения», — говорит Харрингтон.
Исследователи использовали эту модифицированную методику для создания огромного набора данных преобразованных изображений, которые выглядят более текстурированными в определенных областях, чтобы отразить потерю деталей, происходящую, когда человек смотрит дальше, на периферию изображения.
Затем они использовали этот набор данных для обучения нескольких моделей компьютерного зрения и сравнили их результаты с результатами людей в задаче обнаружения объектов.
«Нам пришлось очень тщательно продумать план эксперимента, чтобы мы могли протестировать его и на моделях машинного обучения. Мы не хотели переобучать модели на тестовой задаче, для которой они не предназначались», — объясняет он.
Своеобразное выступление
Людям и моделям показывали пары преобразованных изображений, идентичных друг другу, за исключением того, что на одном из изображений целевой объект располагался на периферии. Затем каждого участника просили выбрать изображение с целевым объектом.
«Нас действительно удивило, насколько хорошо люди умели обнаруживать объекты на периферии. Мы просмотрели как минимум 10 разных наборов изображений, которые оказались слишком простыми. Нам пришлось использовать всё более мелкие объекты», — добавляет Харрингтон.
Исследователи обнаружили, что обучение моделей с нуля на их наборе данных привело к наибольшему повышению производительности и улучшению способности обнаруживать и распознавать объекты. Усовершенствование модели на их наборе данных — процесс, включающий тонкую настройку предварительно обученной модели для выполнения новой задачи — привело к меньшему приросту производительности.
Но во всех случаях машины были не так хороши, как люди, и особенно плохо они справлялись с обнаружением объектов на дальней периферии. Их результаты также не соответствовали тем же закономерностям, что и у людей.
«Это может указывать на то, что модели используют контекст не так, как это делают люди при выполнении этих задач обнаружения. Стратегия моделей может быть иной», — говорит Харрингтон.
Исследователи планируют продолжить изучение этих различий с целью создания модели, способной прогнозировать эффективность работы человека в периферийном зрении. Это позволило бы, например, системам искусственного интеллекта предупреждать водителей об опасностях, которые они могли бы пропустить. Они также надеются вдохновить других исследователей на проведение дальнейших исследований в области компьютерного зрения с использованием их общедоступного набора данных.
Данная работа частично финансировалась Исследовательским институтом Toyota и стипендией MIT CSAIL METEOR.
###
Автор статьи: Адам Зеве, MIT News
