Tuttavia, il riconoscimento dei suoni naturali, come le grida di giubilo della folla o il fragore delle onde, è rimasto indietro. Questo perché la maggior parte dei sistemi di riconoscimento automatico, sia che elaborino informazioni audio che visive, sono il risultato dell'apprendimento automatico, in cui i computer cercano schemi in vaste raccolte di dati di addestramento. In genere, i dati di addestramento devono prima essere annotati manualmente, il che risulta proibitivo in termini di costi per tutte le applicazioni tranne quelle più esigenti.
Tuttavia, il riconoscimento dei suoni potrebbe tornare in auge, grazie ai ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT. Alla recente conferenza Neural Information Processing Systems, hanno presentato un sistema di riconoscimento dei suoni che supera le prestazioni dei suoi predecessori ma non richiede dati scritti a mano durante l'addestramento.
I ricercatori hanno invece addestrato il sistema utilizzando i video. In primo luogo, i sistemi di visione artificiale esistenti, in grado di riconoscere scene e oggetti, hanno classificato le immagini video. Il nuovo sistema ha quindi individuato correlazioni tra queste categorie visive e i suoni naturali.
"La visione artificiale ha avuto un tale successo che possiamo applicarla ad altri ambiti", afferma Carl Vondrick, studente di dottorato in ingegneria elettrica e informatica al MIT e uno dei primi due autori dell'articolo. "Stiamo sfruttando la naturale sincronizzazione tra vista e suono. L'abbiamo integrata con una grande quantità di video non etichettati per imparare a interpretare i suoni.".
I ricercatori hanno testato il loro sistema su due database standard di registrazioni audio annotate, ottenendo un'accuratezza superiore del 13-15% rispetto al sistema precedente con le migliori prestazioni. Su un dataset con 10 diverse categorie di suoni, il sistema è stato in grado di classificare i suoni con un'accuratezza del 92%, mentre su un dataset con 50 categorie ha raggiunto un'accuratezza del 74%. Sugli stessi dataset, gli esseri umani hanno ottenuto un'accuratezza rispettivamente del 96% e dell'81%.
"Anche gli esseri umani sono ambigui", afferma Yusuf Aytar, coautore dell'articolo e ricercatore post-dottorato presso il laboratorio del professor Antonio Torralba, esperto di ingegneria elettrica e informatica al MIT. Torralba è l'ultimo coautore dell'articolo.
"Abbiamo fatto un esperimento con Carl", racconta Aytar. "Carl fissava il monitor del computer e non riusciva a vedere nulla. Faceva partire una registrazione e io cercavo di indovinare di cosa si trattasse. Si è scoperto che è davvero molto difficile. Potevo dire 'interno', 'esterno', ipotesi basilari, ma quando si tratta di dettagli – 'È un ristorante?' – quel livello di dettaglio scompare. Anche solo per annotare qualcosa, il compito è davvero arduo.".

Applicazioni complementari:
Poiché la raccolta e l'elaborazione di dati audio richiedono molta meno energia rispetto alla raccolta e all'elaborazione di dati visivi, i ricercatori ipotizzano un sistema di riconoscimento del suono che potrebbe essere utilizzato per migliorare la sensibilità al contesto dei dispositivi mobili.
Se combinato con i dati GPS, ad esempio, un sistema di riconoscimento del suono potrebbe determinare che un utente di un telefono cellulare si trova in una sala cinematografica e che il film è iniziato, e il telefono potrebbe instradare automaticamente le chiamate a un messaggio di risposta preregistrato. Allo stesso modo, il riconoscimento del suono potrebbe migliorare la consapevolezza situazionale dei robot autonomi.
"Ad esempio, pensate a un'auto a guida autonoma", afferma Aytar. "C'è un'ambulanza e l'auto non la vede. Se la sente, può fare previsioni future sull'ambulanza, sul percorso che prenderà, basandosi esclusivamente sul suono."

Linguaggio visivo
Il sistema di apprendimento automatico dei ricercatori è una rete neurale, così chiamata perché la sua architettura ricorda quella del cervello umano. Una rete neurale è composta da nodi di elaborazione che, come i singoli neuroni, possono eseguire solo calcoli rudimentali ma sono densamente interconnessi. Le informazioni, ad esempio i valori dei pixel di un'immagine digitale, vengono immesse nello strato inferiore di nodi, che le elabora e le passa allo strato successivo, che a sua volta le elabora e le passa allo strato successivo, e così via. Il processo di addestramento modifica continuamente le impostazioni dei singoli nodi finché l'output dello strato finale non esegue in modo affidabile una sorta di classificazione dei dati, ad esempio identificando gli oggetti nell'immagine.
Vondrick, Aytar e Torralba hanno inizialmente addestrato una rete neurale su due grandi insiemi di immagini annotate: uno, il dataset ImageNet, contiene campioni di immagini etichettate di 1.000 oggetti diversi; l'altro, il dataset Places creato dal gruppo di Torralba, contiene immagini etichettate di 401 diversi tipi di scene, come un parco giochi, una camera da letto o un'aula universitaria.
Una volta addestrata la rete neurale, i ricercatori hanno trasferito 26 terabyte di dati video scaricati dal sito di condivisione di foto Flickr. "Si tratta di circa 2 milioni di video unici", afferma Vondrick. "Se dovessimo guardarli tutti, ci vorrebbero circa due anni". Hanno quindi addestrato una seconda rete neurale sull'audio degli stessi video. L'obiettivo della seconda rete era quello di prevedere correttamente le etichette di oggetti e scene prodotte dalla prima rete.
Il risultato è stato una rete in grado di interpretare i suoni naturali in termini di categorie di immagini. Ad esempio, poteva determinare che il suono del canto degli uccelli tende ad essere associato a scene di foreste e fotografie di alberi, uccelli, casette per uccelli e mangiatoie.

Benchmarking.
Tuttavia, per confrontare le prestazioni della rete di riconoscimento del suono con quelle dei suoi predecessori, i ricercatori avevano bisogno di un modo per tradurre il suo linguaggio visivo nel linguaggio familiare dei nomi dei suoni. Così hanno costruito un semplice sistema di apprendimento automatico per associare gli output della rete di riconoscimento del suono a una serie di etichette sonore standard.
Per fare ciò, i ricercatori hanno utilizzato un database audio annotato, con 50 categorie di suoni e circa 2.000 esempi. Queste annotazioni erano state fornite da esseri umani. Ma è molto più facile etichettare 2.000 esempi che etichettarne 2 milioni. E la rete dei ricercatori del MIT, addestrata inizialmente su video non etichettati, ha superato significativamente tutte le reti precedenti addestrate esclusivamente sui 2.000 esempi etichettati.
###
Scritto da Larry Hardesty, MIT News Office