Dando um passo nesse sentido, os investigadores do MIT desenvolveram um conjunto de dados de imagens que permite a simulação da visão periférica em modelos de aprendizagem automática. Descobriram que o treino de modelos com este conjunto de dados melhorou a capacidade dos modelos de detetar objetos na periferia visual, embora o desempenho dos modelos ainda fosse inferior ao dos humanos.
Os resultados revelaram ainda que, ao contrário dos humanos, nem o tamanho dos objetos nem a quantidade de elementos visuais numa cena tiveram um impacto significativo no desempenho da IA.
"Algo fundamental está a acontecer aqui. Testámos muitos modelos diferentes e, mesmo quando os treinamos, melhoram um pouco, mas não são exatamente como os humanos. Portanto, a questão é: o que está a faltar nestes modelos?",diz Vasha DuTell, investigadora de pós-doutoramento e coautora de um artigo que detalha este estudo.
Responder a esta questão pode ajudar os investigadores a criar modelos de aprendizagem automática capazes de ver o mundo como os humanos o veem. Além de melhorar a segurança dos condutores, estes modelos poderiam ser utilizados para desenvolver ecrãs mais fáceis de ler.
Além disso, uma compreensão mais profunda da visão periférica nos modelos de IA pode ajudar os investigadores a prever melhor o comportamento humano, acrescenta a autora principal Anne Harrington MEng '23.
"A modelação da visão periférica, se conseguirmos captar verdadeiramente a essência do que é representado na periferia, pode ajudar-nos a compreender as características de uma cena visual que fazem com que os nossos olhos se movam para recolher mais informação", explica.
Os coautores incluem Mark Hamilton, estudante de pós-graduação em Engenharia Eletrotécnica e de Computadores; Ayush Tewari, investigador de pós-doutoramento; Simon Stent, diretor de investigação do Instituto de Investigação da Toyota; e os autores principais William T. Freeman, professor catedrático da Thomas and Gerd Perkins Chair of Electrical and Computer Engineering e membro do Computer Science and Artificial Intelligence Laboratory (CSAIL); e Ruth Rosenholtz, investigadora sénior do Departamento de Ciências Cognitivas e do Cérebro e membro do CSAIL. A investigação será apresentada na Conferência Internacional sobre Aprendizagem Representacional.
"Quando um ser humano interage com uma máquina (um carro, um robô, uma interface de utilizador), é muito importante saber o que essa pessoa consegue ver. A visão periférica desempenha um papel fundamental nesta compreensão", afirma Rosenholtz.
Simular visão periférica
Estenda o braço para a frente e levante o polegar: a pequena área em redor da unha do polegar é o que a fóvea vê — a minúscula depressão no centro da retina que proporciona a visão mais nítida. Tudo o resto está na periferia visual. O córtex visual processa a cena com menos detalhe e precisão à medida que se afasta deste ponto de focagem nítido.
Muitas das abordagens existentes para modelar a visão periférica em IA representam esta deterioração de detalhes desfocando as margens das imagens, mas a perda de informação que ocorre no nervo ótico e no córtex visual é muito mais complexa.
Para obter uma abordagem mais precisa, os investigadores do MIT começaram com uma técnica utilizada para modelar a visão periférica em humanos. Este método, conhecido como modelação de mosaico de textura, transforma imagens para representar a perda de informação visual em humanos.
Modificaram este modelo para que pudesse transformar as imagens de forma semelhante, mas de uma forma mais flexível que não exigisse saber de antemão para onde a pessoa ou a IA iriam dirigir o olhar.
"Permitiu-nos modelar fielmente a visão periférica da mesma forma que é feito na investigação da visão humana", diz Harrington.
Os investigadores utilizaram esta técnica modificada para gerar um enorme conjunto de dados de imagens transformadas que apresentam mais textura em determinadas áreas, representando a perda de detalhe que ocorre quando um ser humano olha mais para a periferia da visão.
De seguida, utilizaram o conjunto de dados para treinar vários modelos de visão computacional e compararam o seu desempenho ao dos humanos numa tarefa de deteção de objetos.
"Tivemos de ser muito inteligentes ao configurar a experiência para que também pudéssemos testá-la em modelos de aprendizagem automática. Não queríamos ter de treinar os modelos novamente numa tarefa simples que não deveriam realizar", explica.
Performance peculiar
Os participantes humanos e os modelos visualizaram pares de imagens transformadas idênticas, exceto pelo facto de uma das imagens conter um objeto-alvo localizado na periferia. De seguida, foi pedido a cada participante que escolhesse a imagem com o objeto-alvo.
"Uma coisa que realmente nos surpreendeu foi a capacidade das pessoas em detetar objetos na periferia. Analisámos pelo menos 10 conjuntos diferentes de imagens que eram muito fáceis. Tivemos de usar objetos cada vez mais pequenos", acrescenta Harrington.
Os investigadores descobriram que treinar modelos de raiz no seu conjunto de dados resultou no maior aumento de desempenho e melhorou a capacidade de detetar e reconhecer objetos. Refinar um modelo no seu conjunto de dados — um processo que envolve o ajuste fino de um modelo pré-treinado para executar uma nova tarefa — levou a ganhos de desempenho mais baixos.
Mas, em todos os casos, as máquinas não eram tão boas como os humanos, e eram especialmente más a detetar objetos na periferia distante. O seu desempenho também não seguia os mesmos padrões que o dos humanos.
"Isto pode sugerir que os modelos não estão a utilizar o contexto da mesma forma que os humanos para realizar estas tarefas de deteção. A estratégia dos modelos pode ser diferente", diz Harrington.
Os investigadores planeiam continuar a explorar estas diferenças com o objetivo de encontrar um modelo que possa prever o desempenho humano na visão periférica. Isto poderia permitir, por exemplo, que os sistemas de inteligência artificial alertassem os condutores para perigos que poderiam não se aperceber. Esperam também inspirar outros investigadores a conduzirem mais estudos de visão computacional utilizando o seu conjunto de dados disponível publicamente.
Este trabalho foi financiado, em parte, pelo Instituto de Investigação Toyota e pela Bolsa de Estudos METEOR do MIT CSAIL.
###
Escrito por Adam Zewe, MIT News
