É aqui que entram Michael Hedderich e Jonas Fischer com a sua investigação. Desenvolveram um software capaz de detetar as fragilidades em algoritmos de aprendizagem automática altamente complexos e ajudar a corrigi-las.
Graças aos algoritmos de aprendizagem automática, os computadores podem realizar feitos surpreendentes, mesmo em áreas anteriormente atribuídas exclusivamente aos humanos, como a linguagem e as belas-artes. Estes métodos computacionais são baseados nas chamadas redes neuronais artificiais. "São redes de funções matemáticas que ponderam uma entrada de acordo com determinados parâmetros personalizáveis e geram uma saída a partir da mesma", explica Michael Hedderich, investigador da Universidade do Sarre (Alemanha) e da Universidade de Cornell (EUA). Estas funções, chamadas neurónios, estão ligadas em série e treinadas com dados, de modo a que os computadores consigam, por exemplo, filtrar gatos em milhões de fotografias ou produzir diálogos com pessoas que parecem enganadoramente realistas.
“Um dos algoritmos de síntese de texto mais avançados e atualmente mais citados no mundo, o GPT-3 da OpenAI, processa entradas utilizando 175 mil milhões de parâmetros antes de produzir uma saída. É praticamente impossível para um ser humano acompanhar este processo e perceber onde ocorrem os erros”, afirma Jonas Fischer, atualmente investigador de pós-doutoramento na Universidade de Harvard. O estado da arte anterior envolvia a análise da saída de um algoritmo de aprendizagem automática em busca de erros e a sua listagem um a um. Os especialistas precisavam então de encontrar padrões nos conjuntos de dados, que podiam facilmente conter milhares de entradas. No nosso novo software, PyPremise, utilizamos técnicas de data mining para procurar automaticamente padrões específicos nestes conjuntos de dados de erros e, por fim, agrupá-los em “categorias de erro” compreensíveis. Assim, em vez de listar cada erro individualmente, o nosso software consegue resumir os erros a um nível mais abstrato e fazer afirmações como: “O seu algoritmo de aprendizagem automática tem dificuldades com formulações que contêm a pergunta ‘Quanto?’”. “Isto decorre dos resultados incorretos nos casos X, Y e Z”, explica Michael Hedderich.
Os investigadores de Saarbrücken testaram o seu software em conjuntos de dados sintéticos e reais. No processo, conseguiram demonstrar que o seu método se adapta a conjuntos de dados muito grandes, com muitas propriedades diferentes dos pontos de dados individuais, e fornece resultados fiáveis. "A informação obtida sobre as fragilidades de um algoritmo de aprendizagem automática pode ser utilizada pelos operadores para rever os seus dados de treino, por exemplo, e assim corrigir os erros do sistema", explica Jonas Fischer. Inicialmente, a ferramenta de software desenvolvida pelos dois informáticos é apenas aplicável a algoritmos na área do processamento de linguagem natural. No entanto, um dos seus objetivos é estender a ferramenta para que também possa ser aplicada a outros campos.
Michael Hedderich é informático e trabalha na Universidade de Cornell e no grupo de investigação "Sistemas de Linguagem Falada" do professor de Linguística Computacional Dietrich Klakow, na Universidade do Sarre. Jonas Fischer doutorou-se na Universidade do Sarre no verão passado, após ter concluído o doutoramento no Instituto Max Planck de Informática sob a supervisão do Professor Jilles Vreeken do Centro Helmholtz para a Segurança da Informação (CISPA). Jonas é agora investigador de pós-doutoramento na Universidade de Harvard. Os investigadores apresentaram pela primeira vez os fundamentos científicos do software em julho de 2022 na Conferência Internacional de Aprendizagem Automática (ICML), uma das conferências mais importantes e prestigiadas do mundo nesta área, onde normalmente apenas um quinto dos artigos submetidos são aceites.
