Os sistemas de IA generativa requerem recursos computacionais, de memória e de armazenamento significativos. Embora tenham o potencial de impulsionar avanços transformadores em diversos setores, a sua implementação acarreta, geralmente, um custo elevado. A IA Regenerativa (RAG) é uma fase crítica da IA que refina os grandes modelos de linguagem (LLMs) com dados específicos da empresa ou da aplicação.
Um componente central da RAG é uma base de dados vetorial que acumula e converte dados específicos em vetores de características dentro da própria base de dados. A RAG utiliza também um algoritmo de Pesquisa Alternativa de Números (ANNS), que identifica vetores que melhoram o modelo com base na semelhança entre os vetores acumulados e os vetores alvo.
Para que a RAG seja eficaz, deve recuperar rapidamente a informação mais relevante para uma determinada consulta. Tradicionalmente, os algoritmos ANNS eram implementados em DRAM para alcançar o elevado desempenho necessário para estas pesquisas.
A tecnologia AiSAQ™ da KIOXIA oferece uma solução ANNS escalável e eficiente para conjuntos de dados de grande escala com uma utilização de memória insignificante e alterações de índice muito rápidas.
Uma característica fundamental da tecnologia AiSAQ™ da KIOXIA
é que permite que bases de dados de grande escala operem sem depender de recursos limitados de DRAM, melhorando assim o desempenho dos sistemas RAG.
Elimina a necessidade de carregar dados de índice na DRAM, permitindo que a base de dados vetorial seja iniciada instantaneamente. Isto possibilita a alternância perfeita entre bases de dados específicas do utilizador ou da aplicação no mesmo servidor, para uma entrega eficiente do serviço RAG.
Otimizado para sistemas na nuvem, armazenando índices em armazenamento desagregado para partilha entre vários servidores. Esta abordagem ajusta dinamicamente o desempenho de pesquisa em bases de dados vetoriais para utilizadores ou aplicações específicas e facilita a migração rápida de instâncias de pesquisa entre servidores físicos.
“A solução AiSAQ™ da KIOXIA abre caminho para uma escalabilidade quase infinita de aplicações RAG em sistemas de IA generativa baseados em unidades flash SSD no núcleo”, disse Axel Stoermann, vice-presidente e diretor de tecnologia da KIOXIA Europe GmbH. “Ao utilizar a tecnologia ANNS baseada em SSD, reduzimos a dependência de DRAM cara, ao mesmo tempo que atendemos aos requisitos de desempenho das principais soluções em memória, melhorando significativamente a gama de desempenho de aplicações RAG de grande escala.”
