Il rapporto analizza le tendenze tecnologiche, le sfide del settore e i progressi compiuti dai principali attori, prevedendo al contempo le tendenze di mercato nel settore del packaging dei semiconduttori.
Sfide dei modelli linguistici di grandi dimensioni (LLM):
L'avvento dei grandi modelli linguistici (LLM) rappresenta una pietra miliare nell'intelligenza artificiale, rivoluzionando l'elaborazione del linguaggio naturale (NLP) e i campi correlati. Modelli come la serie GPT di OpenAI dimostrano un'elevata precisione nella comprensione, generazione e traduzione del linguaggio umano. Pur avendo diverse applicazioni, presentano anche delle sfide.
I sistemi di modellazione su larga scala (LLM) hanno registrato una crescita esponenziale delle dimensioni dei modelli, passando da 340 milioni di parametri in BERT-L nel 2019 a 1,76 trilioni di parametri nel prossimo GPT-4. Questa espansione si traduce in un'elevata complessità computazionale, poiché GPT-4 richiede oltre 10¹⁰ petaFLOPS. Rispetto ad altre reti neurali, gli LLM richiedono risorse computazionali significativamente maggiori; ad esempio, l'addestramento di GPT-3 richiede 3.841 ore di GPU rispetto alle sole 11 ore necessarie per una ResNet-60 (una rete neurale convoluzionale utilizzata per la classificazione delle immagini). Gli LLM hanno una bassa intensità operativa, il che significa che si basano fortemente su operazioni matrice-vettore. Questo rende necessario spostare più dati per eseguire lo stesso numero di operazioni aritmetiche. Pertanto, la larghezza di banda della memoria è fondamentale per le loro prestazioni.
Metodi per migliorare la larghezza di banda del sistema:
Negli ultimi anni, si è creato un divario tra il rapido aumento della densità di calcolo dei processori e il più lento incremento della larghezza di banda della memoria. Questo problema del "muro della memoria" fa sì che i processori debbano attendere frequentemente i dati, con conseguente sottoutilizzo delle risorse e rappresentando una sfida significativa per i futuri miglioramenti delle prestazioni.
NVIDIA e AMD hanno introdotto, rispettivamente, le tecnologie NVLink e Infinity Fabric per migliorare l'interconnettività tra CPU e GPU, aspetto cruciale per incrementare la larghezza di banda tra i componenti logici.
L'integrazione di architetture di memoria ad alta larghezza di banda (HBM) di nuova generazione, costituite da più chip DRAM impilati verticalmente e collegati tramite vie di silicio (TSV), offre un sostanziale aumento della larghezza di banda tra logica e memoria. Sebbene in precedenza limitata alle GPU, la HBM viene ora integrata nelle CPU, colmando il divario di larghezza di banda tra queste e le DRAM tradizionali. La CPU Instinct MI300 di AMD esemplifica questa tendenza integrando la HBM avanzata sia con la CPU che con la GPU in un unico package. Le tecnologie di packaging dei semiconduttori 2.5D, come la Chip on Wafer on Substrate (CoWoS) di TSMC, svolgono un ruolo cruciale nell'aumentare il numero di punti I/O (input/output) riducendo al contempo la lunghezza di interconnessione tra i componenti logici e di memoria, migliorando così le prestazioni e riducendo la latenza. Tuttavia, i nuovi carichi di lavoro HPC, in particolare quelli relativi all'addestramento dell'IA, richiedono una larghezza di banda della memoria ancora maggiore (oltre 45 volte) a causa dei frequenti accessi alla memoria. L'aumento della velocità di I/O può migliorare la larghezza di banda della HBM, ma è limitato da un maggiore consumo energetico.
Per affrontare questo problema, i nuovi progetti di processori si sono concentrati sull'aumento della capacità della SRAM on-chip, poiché si trova in prossimità dei chip di elaborazione, consentendo una maggiore larghezza di banda con interconnessioni più dense e una minore latenza. Le prime implementazioni utilizzavano la tecnologia di packaging a giunzione ibrida 3D per collegare un die SRAM a un die logico con un passo di 9 μm, triplicando la capacità della SRAM. Per migliorare ulteriormente la larghezza di banda, il passo della giunzione ibrida è stato ridotto da 9 μm a 0,4 μm, aumentando la densità di larghezza di banda di oltre 300 volte.
La co-incapsulazione ottica è un altro approccio che ha acquisito notevole importanza negli ultimi anni. La comunicazione ottica offre diversi vantaggi rispetto alla tradizionale trasmissione di segnali elettrici. Presenta minori perdite di trasmissione, il che riduce il degrado del segnale sulla distanza. Inoltre, la comunicazione ottica è meno soggetta alla diafonia, che si verifica quando i segnali interferiscono tra loro causando errori nei dati. Infine, i segnali ottici possono raggiungere una larghezza di banda maggiore rispetto alle loro controparti elettriche, il che li rende ideali per applicazioni ad alta intensità di dati.
In sintesi, per la prossima generazione di sistemi di calcolo basati sull'intelligenza artificiale, l'elevata larghezza di banda tra circuiti logici e tra circuiti logici e memoria rappresenta una tendenza di sviluppo cruciale. Le tecnologie avanzate di packaging dei semiconduttori, come le giunzioni ibride 2.5D e 3D, insieme a soluzioni emergenti come la comunicazione ottica, sono fondamentali per consentire questa crescita e superare le sfide computazionali.
Autore: Dott. Yu-Han Chang, analista tecnologico senior presso IDTechEx
