Investigadores do MIT, do Laboratório de IA MIT-IBM Watson e de outras instituições desenvolveram um modelo de visão computacional mais eficiente que reduz drasticamente a complexidade computacional desta tarefa. O seu modelo consegue realizar a segmentação semântica com precisão e em tempo real em dispositivos com recursos de hardware limitados, como os computadores de bordo que permitem que os veículos autónomos tomem decisões em frações de segundo.

Os modelos de segmentação semântica mais recentes aprendem a interação entre cada par de pixéis numa imagem diretamente, pelo que os seus cálculos crescem quadraticamente à medida que a resolução da imagem aumenta. Consequentemente, embora estes modelos sejam precisos, são demasiado lentos para processar imagens de alta resolução em tempo real num dispositivo periférico, como um sensor ou um telemóvel.

Investigadores do MIT desenvolveram um novo componente fundamental para os modelos de segmentação semântica que alcança as mesmas capacidades destes modelos de última geração, mas com complexidade computacional linear e operações eficientes em termos de hardware.

O resultado é uma nova série de modelos de visão computacional de alta resolução que operam até nove vezes mais rápido do que os modelos anteriores quando implementados num dispositivo móvel. Mais importante ainda, esta nova série de modelos oferece uma precisão igual ou superior à dos modelos alternativos.

Esta técnica poderá ser utilizada não só para ajudar os veículos autónomos a tomar decisões em tempo real, mas também para melhorar a eficiência de outras tarefas de visão computacional de alta resolução, como a segmentação de imagens médicas.

"Embora os investigadores já utilizem transformadores de visão tradicionais há muito tempo, e produzam resultados incríveis, queremos que as pessoas também prestem atenção ao aspeto da eficiência destes modelos. O nosso trabalho demonstra que é possível reduzir drasticamente a computação, de modo a que a segmentação de imagens em tempo real possa ser realizada localmente num dispositivo", afirma Song Han, professor associado do Departamento de Engenharia Elétrica e de Computação (EECS), membro do Laboratório de Inteligência Artificial MIT-IBM Watson e principal autor do artigo que descreve o novo modelo.

O artigo é acompanhado por Han Cai, estudante de pós-graduação em Engenharia Eletrotécnica e Ciência da Computação (EECS); Junyan Li, estudante da Universidade de Zhejiang; Muyan Hu, estudante da Universidade de Tsinghua; e Chuang Gan, investigador sénior do Laboratório de Inteligência Artificial MIT-IBM Watson. A investigação será apresentada na Conferência Internacional de Visão por Computador.

Uma solução simplificada

Classificar cada pixel numa imagem de alta resolução que pode conter milhões de pixels é uma tarefa difícil para um modelo de aprendizagem automática. Recentemente, um novo e poderoso tipo de modelo, conhecido como Vision Transformer, tem sido utilizado com sucesso.

Os Transformers foram originalmente desenvolvidos para processamento de linguagem natural. Neste contexto, codificam cada palavra de uma frase como um token e, em seguida, geram um mapa de atenção, que captura as relações de cada token com todos os outros tokens. Este mapa de atenção ajuda o modelo a compreender o contexto ao fazer previsões.

Utilizando o mesmo conceito, um transformador de visão divide uma imagem em patches de pixéis e codifica cada pequeno patch num token antes de gerar um mapa de atenção. Ao gerar este mapa de atenção, o modelo utiliza uma função de similaridade que aprende diretamente a interação entre cada par de pixéis. Desta forma, o modelo desenvolve o que é conhecido como um campo recetivo global, o que significa que pode aceder a todas as partes relevantes da imagem.

Como uma imagem de alta resolução pode conter milhões de pixéis, divididos em milhares de regiões, o mapa de atenção rapidamente se torna enorme. Portanto, a quantidade de computação aumenta quadraticamente à medida que a resolução da imagem aumenta.

Na sua nova série de modelos, denominada EfficientViT, os investigadores do MIT utilizam um mecanismo mais simples para construir o mapa de atenção: substituem a função de similaridade não linear por uma linear. Isto permite reorganizar a ordem das operações para reduzir o número total de cálculos sem alterar a funcionalidade ou perder o campo receptivo geral. Com o modelo desenvolvido, o número de cálculos necessários para uma previsão cresce linearmente com o aumento da resolução da imagem.

"Mas não há almoços grátis. A atenção linear apenas capta o contexto geral da imagem e ignora a informação local, o que piora a precisão", explica Han.

Para compensar esta perda de precisão, os investigadores incluíram dois componentes adicionais no seu modelo, cada um dos quais acrescenta apenas uma pequena quantidade de computação.

Um destes elementos ajuda o modelo a captar as interações das características locais, mitigando a fragilidade da função linear na extração de informação local. O segundo, um módulo que possibilita a aprendizagem multiescala, auxilia o modelo a reconhecer objetos grandes e pequenos.

"O mais importante é equilibrar cuidadosamente o desempenho e a eficiência", diz Cai.

Desenharam o EfficientViT com uma arquitetura adaptada ao hardware, facilitando a sua execução em diversos dispositivos, como headsets de realidade virtual ou computadores de edge em veículos autónomos. O seu modelo também pode ser aplicado a outras tarefas de visão por computador, como a classificação de imagens.

Racionalização da segmentação semântica

Ao testarem o seu modelo em conjuntos de dados utilizados para a segmentação semântica, descobriram que tinha um desempenho até nove vezes mais rápido numa unidade de processamento gráfico (GPU) da Nvidia do que outros modelos populares de transformação de visão, com a mesma ou melhor precisão.

"Agora podemos ter o melhor dos dois mundos e reduzir a capacidade de processamento para o tornar suficientemente rápido para ser executado em dispositivos móveis e na cloud", diz Han.

Com base nestes resultados, os investigadores querem aplicar esta técnica para acelerar modelos generativos de aprendizagem automática, como os utilizados para gerar novas imagens. Também querem expandir ainda mais o EfficientViT para outras tarefas de visão computacional.

“A compressão de modelos e o design de modelos leves são tópicos de investigação cruciais para alcançar uma computação eficiente de IA, especialmente no contexto de modelos de grandes bases de dados. O grupo do Professor Song Han demonstrou um progresso notável na compressão e aceleração de modelos modernos de aprendizagem profunda, particularmente os Vision Transformers”, acrescenta Jay Jackson, vice-presidente global de inteligência artificial e aprendizagem automática da Oracle, que não participou nesta investigação. “A Oracle Cloud Infrastructure tem apoiado a sua equipa no avanço desta impactante linha de investigação rumo a uma IA eficiente e sustentável.”.

###

Escrito por Adam Zewe, MIT News