O relatório aborda as tendências tecnológicas, os desafios da indústria e os avanços realizados pelos principais participantes, além de prever as tendências de mercado no setor de embalagens de semicondutores.
Desafios dos grandes modelos de linguagem (LLM):
O surgimento de grandes modelos linguísticos (LLMs) marca um marco na IA, revolucionando o processamento de linguagem natural (PLN) e áreas afins. Modelos como a série GPT da OpenAI demonstram uma elevada precisão na compreensão, geração e tradução da linguagem humana. Embora tenham diversas aplicações, também apresentam desafios.
Os sistemas de modelação em larga escala (LLM, na sigla em inglês) têm registado um crescimento exponencial no tamanho dos modelos, passando de 340 milhões de parâmetros no BERT-L em 2019 para 1,76 triliões de parâmetros no futuro GPT-4. Esta expansão traduz-se em elevada complexidade computacional, uma vez que o GPT-4 requer mais de 10¹⁰ petaFLOPS. Comparativamente a outras redes neuronais, os LLMs requerem significativamente mais recursos computacionais; por exemplo, o treino do GPT-3 requer 3.841 horas de GPU, em comparação com apenas 11 horas para uma ResNet-60 (uma rede neural convolucional utilizada para a classificação de imagens). Os LLM têm uma baixa intensidade operacional, o que significa que dependem fortemente de operações de matriz-vetor. Isto exige a movimentação de mais dados para realizar o mesmo número de operações aritméticas. Por isso, a largura de banda da memória é crucial para o seu desempenho.
Formas de melhorar a largura de banda do sistema:
Nos últimos anos, surgiu um fosso entre o rápido aumento da densidade de processamento dos processadores e o crescimento mais lento da largura de banda da memória. Este problema da "barreira da memória" faz com que os processadores esperem frequentemente por dados, levando à subutilização e representando um desafio significativo para futuras melhorias de desempenho.
A NVIDIA e a AMD introduziram as tecnologias NVLink e Infinity Fabric, respetivamente, para melhorar a interconectividade entre o CPU e o GPU, o que é crucial para aumentar a largura de banda entre os componentes lógicos.
A incorporação de arquiteturas de memória de alta largura de banda (HBM) de última geração, compostas por múltiplos chips DRAM empilhados verticalmente e ligados por vias de silício (TSVs), oferece um aumento substancial da largura de banda entre a lógica e a memória. Embora anteriormente limitada às GPUs, a HBM está agora a ser integrada nos CPUs, preenchendo a lacuna de largura de banda entre estes e a DRAM tradicional. O AMD Instinct MI300 exemplifica esta tendência ao integrar a HBM avançada com o CPU e o GPU num único pacote. As tecnologias de encapsulamento de semicondutores 2.5D, como o Chip on Wafer on Substrate (CoWoS) da TSMC, desempenham um papel crucial no aumento do número de pontos de E/S (entrada/saída), reduzindo o comprimento da interligação entre os componentes de lógica e memória, melhorando assim o desempenho e reduzindo a latência. No entanto, as novas cargas de trabalho de HPC, particularmente as relacionadas com o treino de IA, requerem uma largura de banda de memória ainda maior (mais de 45 vezes) devido aos acessos frequentes à memória. O aumento da velocidade de E/S pode melhorar a largura de banda da HBM, mas é limitado pelo maior consumo de energia.
Para resolver este problema, os novos projetos de processadores têm-se concentrado em aumentar a capacidade da SRAM integrada, uma vez que esta se encontra localizada junto aos chips de processamento, permitindo uma maior largura de banda com interligações mais densas e menor latência. As primeiras implementações utilizaram a tecnologia de encapsulamento híbrido 3D para unir um chip de SRAM a um chip lógico com um espaçamento de 9 μm, triplicando a capacidade da SRAM. Para melhorar ainda mais a largura de banda, o espaçamento da junção híbrida foi reduzido de 9 μm para 0,4 μm, aumentando a densidade de largura de banda em mais de 300 vezes.
A ótica coencapsulada é outra abordagem que ganhou um impulso significativo nos últimos anos. A comunicação ótica oferece diversas vantagens em relação à transmissão de sinais elétricos tradicionais. Apresenta menores perdas de transmissão, o que reduz a degradação do sinal com a distância. Além disso, a comunicação ótica é menos suscetível à diafonia, que ocorre quando os sinais interferem entre si, causando erros nos dados. Ademais, os sinais óticos podem atingir uma maior largura de banda em comparação com os seus equivalentes elétricos, tornando-os ideais para aplicações com um grande volume de dados.
Em síntese, para a próxima geração de sistemas de computação de IA, a elevada largura de banda entre a lógica e a lógica, e entre a lógica e a memória, são tendências de desenvolvimento cruciais. Tecnologias avançadas de encapsulamento de semicondutores, como as junções híbridas 2.5D e 3D, juntamente com soluções emergentes como a comunicação ótica, são fundamentais para viabilizar este crescimento e superar os desafios computacionais.
Autor: Dr. Yu-Han Chang, Analista de Tecnologia Sénior da IDTechEx
