В нем рассматриваются технологические тенденции, отраслевые проблемы и достижения ключевых игроков, а также прогнозируются рыночные тенденции в секторе упаковки полупроводников.
Проблемы больших языковых моделей (LLM):
Появление больших лингвистических моделей (БЛМ) знаменует собой важный этап в развитии искусственного интеллекта, революционизируя обработку естественного языка (ОБЯ) и смежные области. Такие модели, как серия GPT от OpenAI, демонстрируют высокую точность в понимании, генерации и переводе человеческого языка. Хотя они имеют разнообразные области применения, они также создают определенные проблемы.
Системы крупномасштабного моделирования (LLM) демонстрируют экспоненциальный рост размера моделей, увеличившись с 340 миллионов параметров в BERT-L в 2019 году до 1,76 триллиона параметров в готовящейся к выпуску GPT-4. Это расширение приводит к высокой вычислительной сложности, поскольку GPT-4 требует более 10¹⁰ петафлопс. По сравнению с другими нейронными сетями, LLM требуют значительно больше вычислительных ресурсов; например, обучение GPT-3 требует 3841 часа работы графического процессора по сравнению с всего 11 часами для ResNet-60 (сверточной нейронной сети, используемой для классификации изображений). LLM обладают низкой операционной интенсивностью, то есть они в значительной степени полагаются на матрично-векторные операции. Это требует перемещения большего объема данных для выполнения того же количества арифметических операций. Следовательно, пропускная способность памяти имеет решающее значение для их производительности.
Способы повышения пропускной способности системы:
В последние годы возник разрыв между быстрым ростом вычислительной плотности процессоров и более медленным увеличением пропускной способности памяти. Эта проблема «препятствия в памяти» приводит к тому, что процессоры часто ожидают данных, что ведет к недоиспользованию ресурсов и представляет собой серьезную проблему для дальнейшего повышения производительности.
Компании NVIDIA и AMD представили технологии NVLink и Infinity Fabric, соответственно, для улучшения взаимодействия между центральным и графическим процессорами, что имеет решающее значение для повышения пропускной способности между логическими компонентами.
Внедрение архитектур высокоскоростной памяти (HBM) следующего поколения, состоящих из множества вертикально расположенных кристаллов DRAM, соединенных кремниевыми переходными отверстиями (TSV), обеспечивает существенное увеличение пропускной способности между логическими элементами и памятью. Ранее HBM интегрировалась только в графические процессоры (GPU), но теперь она преодолевает разрыв в пропускной способности между ними и традиционной DRAM. AMD Instinct MI300 является примером этой тенденции, интегрируя передовую HBM как с CPU, так и с GPU в одном корпусе. Технологии 2.5D-упаковки полупроводников, такие как TSMC Chip on Wafer on Substrate (CoWoS), играют решающую роль в увеличении количества точек ввода/вывода (I/O) при одновременном сокращении длины межсоединений между логическими элементами и компонентами памяти, тем самым повышая производительность и уменьшая задержку. Однако новые высокопроизводительные вычисления (HPC), особенно связанные с обучением ИИ, требуют еще большей пропускной способности памяти (более чем в 45 раз) из-за частых обращений к памяти. Увеличение скорости ввода-вывода может повысить пропускную способность HBM, но это ограничено более высоким энергопотреблением.
Для решения этой проблемы в новых конструкциях процессоров основное внимание уделялось увеличению емкости встроенной SRAM, поскольку она расположена близко к процессорным чипам, что обеспечивает более высокую пропускную способность за счет более плотных межсоединений и меньшей задержки. В ранних реализациях использовалась технология 3D-гибридной компоновки, позволяющая припаять кристалл SRAM к логическому кристаллу с шагом 9 мкм, утроив емкость SRAM. Для дальнейшего повышения пропускной способности шаг гибридного перехода был уменьшен с 9 мкм до 0,4 мкм, что увеличило плотность полосы пропускания более чем в 300 раз.
Соинкапсулированная оптика — еще один подход, получивший значительное развитие в последние годы. Оптическая связь предлагает ряд преимуществ по сравнению с традиционной передачей электрических сигналов. Она имеет меньшие потери при передаче, что снижает ухудшение качества сигнала на расстоянии. Кроме того, оптическая связь менее подвержена перекрестным помехам, которые возникают, когда сигналы взаимодействуют друг с другом, вызывая ошибки данных. Вдобавок, оптические сигналы могут достигать большей полосы пропускания по сравнению со своими электрическими аналогами, что делает их идеальными для приложений, работающих с большими объемами данных.
В заключение, для следующего поколения вычислительных систем искусственного интеллекта решающее значение имеют высокая пропускная способность между логическими цепями, а также между логикой и памятью. Передовые технологии упаковки полупроводников, такие как 2,5D и 3D гибридные соединения, наряду с новыми решениями, такими как оптическая связь, имеют фундаментальное значение для обеспечения этого роста и преодоления вычислительных проблем.
Автор: д-р Ю-Хан Чанг, старший технологический аналитик компании IDTechEx
