È qui che entrano in gioco Michael Hedderich e Jonas Fischer con la loro ricerca. Hanno sviluppato un software in grado di individuare i punti deboli negli algoritmi di apprendimento automatico altamente complessi e di contribuire a correggerli.
Grazie agli algoritmi di apprendimento automatico, i computer possono compiere imprese sorprendenti, anche in ambiti precedentemente attribuiti esclusivamente agli esseri umani, come il linguaggio e le belle arti. Questi metodi computazionali si basano sulle cosiddette reti neurali artificiali. "Si tratta di reti di funzioni matematiche che ponderano un input in base a determinati parametri personalizzabili e generano un output a partire da esso", spiega Michael Hedderich, ricercatore presso l'Università della Saarland (Germania) e la Cornell University (USA). Queste funzioni, chiamate neuroni, sono collegate in serie e addestrate con i dati, in modo che i computer siano in grado, ad esempio, di filtrare i gatti da milioni di foto o di produrre dialoghi con le persone dall'aspetto incredibilmente realistico.
“Uno degli algoritmi di sintesi testuale più avanzati e attualmente più citati al mondo, GPT-3 di OpenAI, elabora l'input utilizzando 175 miliardi di parametri prima di produrre un output. È quasi impossibile per un essere umano seguire questo processo e capire dove si verificano gli errori”, afferma Jonas Fischer, attualmente ricercatore post-dottorato presso l'Università di Harvard. Lo stato dell'arte precedente prevedeva l'analisi dell'output di un algoritmo di apprendimento automatico alla ricerca di errori e la loro elencazione uno per uno. Gli esperti dovevano quindi trovare modelli nei dataset, che potevano facilmente contenere migliaia di voci. Nel nostro nuovo software, PyPremise, utilizziamo tecniche di data mining per cercare automaticamente modelli specifici in questi dataset di errori e infine raggrupparli in "categorie di errore" comprensibili. Pertanto, invece di elencare ogni errore singolarmente, il nostro software è in grado di riassumere gli errori a un livello più astratto e fare affermazioni come: "Il tuo algoritmo di apprendimento automatico ha difficoltà con le formulazioni che contengono la domanda 'Quanto?'". "Questo deriva dai risultati errati nei casi X, Y e Z", spiega Michael Hedderich.
I ricercatori di Saarbrücken hanno testato il loro software sia su set di dati sintetici che reali. In questo modo, sono riusciti a dimostrare che il loro metodo si adatta a set di dati molto ampi con molteplici proprietà dei singoli punti dati e fornisce risultati affidabili. "Le informazioni così ottenute sui punti deboli di un algoritmo di apprendimento automatico possono essere utilizzate dagli operatori per rivedere i dati di addestramento, ad esempio, e quindi correggere gli errori del sistema", spiega Jonas Fischer. Inizialmente, lo strumento software sviluppato dai due informatici è applicabile solo agli algoritmi nel campo dell'elaborazione del linguaggio naturale. Tuttavia, uno dei loro obiettivi è estendere lo strumento in modo che possa essere applicato anche ad altri campi.
Michael Hedderich è un informatico e lavora presso la Cornell University e nel gruppo di ricerca "Spoken Language Systems" del professor Dietrich Klakow, docente di linguistica computazionale presso l'Università della Saarland. Jonas Fischer ha conseguito il dottorato di ricerca presso l'Università della Saarland la scorsa estate, dopo aver completato il dottorato presso il Max Planck Institute for Informatics sotto la supervisione del professor Jilles Vreeken dell'Helmholtz Centre for Information Security (CISPA). Jonas è ora ricercatore post-dottorato presso l'Università di Harvard. I ricercatori hanno presentato per la prima volta le basi scientifiche del software nel luglio 2022 alla International Conference on Machine Learning (ICML), una delle conferenze più importanti e prestigiose al mondo in questo campo, dove in genere viene accettato solo un quinto degli articoli presentati.
