C’est là qu’interviennent les recherches de Michael Hedderich et Jonas Fischer. Ils ont développé un logiciel capable de détecter les faiblesses des algorithmes d’apprentissage automatique très complexes et de contribuer à les corriger.
Grâce à ces algorithmes, les ordinateurs peuvent accomplir des prouesses étonnantes, même dans des domaines autrefois réservés à l’humain, comme le langage et les beaux-arts. Ces méthodes de calcul reposent sur ce que l’on appelle les réseaux de neurones artificiels. « Ce sont des réseaux de fonctions mathématiques qui pondèrent une entrée selon certains paramètres personnalisables et génèrent une sortie à partir de celle-ci », explique Michael Hedderich, chercheur à l’Université de la Sarre (Allemagne) et à l’Université Cornell (États-Unis). Ces fonctions, appelées neurones, sont connectées en série et entraînées avec des données, ce qui permet aux ordinateurs, par exemple, de filtrer les chats parmi des millions de photos ou de produire des dialogues d’un réalisme saisissant avec des humains.
« GPT-3 d'OpenAI, l'un des algorithmes de synthèse de texte les plus avancés et les plus cités au monde, traite les données d'entrée à l'aide de 175 milliards de paramètres avant de produire un résultat. Il est quasiment impossible pour un humain de suivre ce processus et de comprendre où se situent les erreurs », explique Jonas Fischer, chercheur postdoctoral à l'Université Harvard. Auparavant, la méthode de pointe consistait à analyser les résultats d'un algorithme d'apprentissage automatique pour y déceler les erreurs et les répertorier une par une. Les experts devaient ensuite identifier des schémas récurrents dans les ensembles de données, qui pouvaient facilement contenir des milliers d'entrées. Notre nouveau logiciel, PyPremise, utilise des techniques d'exploration de données pour rechercher automatiquement des schémas spécifiques dans ces ensembles de données d'erreurs et les regrouper en « catégories d'erreurs » compréhensibles. Ainsi, au lieu de lister chaque erreur individuellement, notre logiciel est capable de les synthétiser à un niveau plus abstrait et de formuler des affirmations telles que : « Votre algorithme d'apprentissage automatique rencontre des difficultés avec les formulations contenant la question “Combien ?” ». « Cela découle des résultats incorrects obtenus dans les cas X, Y et Z », explique Michael Hedderich.
Les chercheurs de Sarrebruck ont testé leur logiciel sur des jeux de données synthétiques et réels. Ils ont ainsi pu démontrer que leur méthode s'adapte à de très grands ensembles de données présentant des propriétés très diverses et fournit des résultats fiables. « Les informations ainsi obtenues sur les faiblesses d'un algorithme d'apprentissage automatique peuvent être utilisées par les opérateurs pour analyser leurs données d'entraînement, par exemple, et corriger les erreurs du système », explique Jonas Fischer. Dans un premier temps, l'outil logiciel développé par les deux informaticiens est uniquement applicable aux algorithmes de traitement automatique du langage naturel. Cependant, l'un de leurs objectifs est d'étendre son utilisation à d'autres domaines.
Michael Hedderich est informaticien et travaille à l'Université Cornell et au sein du groupe de recherche « Systèmes de langage parlé » du professeur de linguistique informatique Dietrich Klakow à l'Université de la Sarre. Jonas Fischer a obtenu son doctorat à l'Université de la Sarre l'été dernier, après avoir soutenu sa thèse à l'Institut Max Planck d'informatique sous la direction du professeur Jilles Vreeken du Centre Helmholtz pour la sécurité de l'information (CISPA). Il est actuellement chercheur postdoctoral à l'Université Harvard. Les chercheurs ont présenté pour la première fois les fondements scientifiques du logiciel en juillet 2022 lors de la Conférence internationale sur l'apprentissage automatique (ICML), l'une des conférences les plus importantes et prestigieuses au monde dans ce domaine, où seul un cinquième des articles soumis sont généralement acceptés.
