"Atualmente, da forma como treinamos estes robôs, quando falham, não sabemos realmente porquê. Por isso, simplesmente desistimos e dizemos: 'Ok, acho que temos de começar de novo'. Uma componente crítica que falta neste sistema é permitir que o robô demonstre porque está a falhar, para que o utilizador possa dar feedback", explica Andi Peng, estudante de pós-graduação em Engenharia Elétrica e de Computação (EECS) no MIT.

Peng e os seus colaboradores do MIT, da Universidade de Nova Iorque e da Universidade da Califórnia, em Berkeley, criaram uma estrutura que permite aos humanos ensinar rapidamente a um robô o que desejam que ele faça, com o mínimo de esforço.

Quando um robô apresenta uma falha, o sistema utiliza um algoritmo para gerar explicações contrafactuais que descrevem o que seria necessário alterar para que o robô tivesse sucesso. Por exemplo, talvez o robô pudesse ter apanhado a chávena se esta fosse de determinada cor. O sistema apresenta estas explicações contrafactuais ao humano e pergunta porque é que o robô falhou. De seguida, o sistema utiliza esta informação e as explicações contrafactuais para gerar novos dados com os quais poderá ajustar o robô.

O ajuste consiste em modificar um modelo de aprendizagem automática que já foi treinado para executar uma tarefa, de modo a que possa executar uma segunda tarefa semelhante.

Os investigadores testaram esta técnica em simulações e descobriram que podia ensinar um robô de forma mais eficaz do que outros métodos. Os robôs treinados com esta técnica apresentaram melhor desempenho e o processo de treino exigiu menos tempo humano.

Esta estrutura pode ajudar os robôs a aprender mais rapidamente em novos ambientes sem exigir conhecimento técnico do utilizador. A longo prazo, pode representar um avanço para permitir que os robôs de uso geral executem tarefas quotidianas de forma eficaz para idosos ou pessoas com deficiência em diversos contextos.

Peng, o autor principal, conta com a colaboração dos coautores Aviv Netanyahu, estudante de pós-graduação em Engenharia Eletrotécnica e Ciência da Computação (EECS); Mark Ho, professor adjunto no Stevens Institute of Technology; Tianmin Shu, investigador de pós-doutoramento no MIT; Andreea Bobu, estudante de pós-graduação na UC Berkeley; e dos autores seniores Julie Shah, professora de aeronáutica e astronáutica no MIT e diretora do Grupo de Robótica Interativa do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL), e Pulkit Agrawal, professor do CSAIL. A investigação será apresentada na Conferência Internacional de Aprendizagem Automática.

Formação em serviço

Os robôs falham frequentemente devido a alterações no layout: o robô depara-se com objetos e espaços que não viu durante o treino e não compreende o que fazer neste novo ambiente.

Uma forma de reeducar um robô para uma tarefa específica é através da aprendizagem por imitação. O utilizador pode demonstrar a tarefa correta para ensinar ao robô o que fazer. Se um utilizador tentar ensinar um robô a pegar numa chávena, mas demonstrar com uma chávena branca, o robô pode aprender que todas as chávenas são brancas. Por isso, pode não apanhar uma chávena vermelha, azul ou castanha (tipo a do Tim, o Castor).

Treinar um robô para reconhecer que uma chávena é uma chávena, independentemente da sua cor, pode exigir milhares de demonstrações.

"Não quero ter de fazer demonstrações com 30 mil copos. Quero fazer uma demonstração com apenas um copo. Mas depois tenho de ensinar o robô a reconhecer que pode pegar num copo de qualquer cor", explica Peng.

Para alcançar este objetivo, o sistema dos investigadores determina qual o objeto específico que é importante para o utilizador (uma chávena) e quais os elementos irrelevantes para a tarefa (talvez a cor da chávena não importe). Utiliza esta informação para gerar novos dados sintéticos, alterando estes conceitos visuais "irrelevantes". Este processo é conhecido como aumento de dados.

A estrutura é constituída por três etapas. Primeiro, mostra a tarefa que causou a falha do robô. Em seguida, recolhe uma demonstração do utilizador das ações desejadas e gera cenários hipotéticos, pesquisando todas as características do espaço para encontrar o que precisa de ser alterado para que o robô tenha sucesso.

O sistema exibe estes cenários hipotéticos ao utilizador e solicita o seu feedback para determinar quais os conceitos visuais que não influenciam a ação desejada. De seguida, utiliza esse feedback humano para gerar diversas novas demonstrações aumentadas.

Desta forma, o utilizador poderia demonstrar como pegar numa chávena, mas o sistema produziria demonstrações mostrando a ação desejada com milhares de chávenas diferentes, alterando as suas cores. Utiliza estes dados para ajustar o robô com precisão.

Segundo Peng, para que a técnica seja bem-sucedida, é essencial criar explicações contrafactuais e solicitar a opinião do utilizador.

Do raciocínio humano ao raciocínio robótico:
Como o objetivo do trabalho é incluir humanos no processo de treino, os investigadores testaram a sua técnica com utilizadores humanos. Em primeiro lugar, realizaram um estudo no qual perguntaram às pessoas se as explicações contrafactuais as ajudavam a identificar elementos que pudessem ser alterados sem afetar a tarefa.

"Desde o início que ficou muito claro. Os humanos são muito bons neste tipo de raciocínio contrafactual. E esta etapa contrafactual é o que nos permite traduzir o raciocínio humano em raciocínio robótico de uma forma que faça sentido", afirma.

De seguida, aplicaram a sua estrutura a três simulações em que os robôs tinham de navegar até um objeto, pegar numa chave e abrir uma porta, e pegar num objeto desejado e colocá-lo sobre uma mesa. Em todos os casos, o método permitiu que o robô aprendesse mais rapidamente do que com outras técnicas, exigindo menos demonstrações por parte dos utilizadores.

Olhando para o futuro, os investigadores esperam testar esta estrutura em robôs reais. Também querem concentrar-se em reduzir o tempo que o sistema leva para gerar novos dados utilizando modelos generativos de aprendizagem automática.

"Queremos que os robôs façam o que os humanos fazem, e que o façam de uma forma semanticamente significativa. Os humanos tendem a operar neste espaço abstrato, onde não pensam em cada propriedade de uma imagem. Em última análise, trata-se de permitir que um robô aprenda uma boa representação, semelhante à humana, a um nível abstrato", diz Peng.

Esta investigação foi financiada, em parte, por uma bolsa de investigação de pós-graduação da National Science Foundation, pela Open Philanthropy, por uma bolsa da Apple para IA/ML, pela Hyundai Motor Corporation, pelo MIT-IBM Watson AI Lab e pelo Instituto de Inteligência Artificial e Interações Fundamentais da National Science Foundation.

###

Escrito por Adam Zewe, MIT News Office