Les systèmes d'IA générative nécessitent d'importantes ressources de calcul, de mémoire et de stockage. Bien qu'ils aient le potentiel d'induire des avancées majeures dans divers secteurs, leur mise en œuvre est souvent onéreuse. L'IA régénérative (IAR) est une phase cruciale de l'IA qui affine les grands modèles de langage (LLM) à l'aide de données spécifiques à l'entreprise ou à l'application.
Un composant essentiel de l'IAR est une base de données vectorielles qui accumule et convertit des données spécifiques en vecteurs de caractéristiques. L'IAR utilise également un algorithme de balayage de nombres alternatifs (ANNS), qui identifie les vecteurs améliorant le modèle en fonction de la similarité entre les vecteurs accumulés et les vecteurs cibles.
Pour être efficace, l'IAR doit extraire rapidement les informations les plus pertinentes pour une requête donnée. Traditionnellement, les algorithmes ANNS étaient déployés dans la mémoire DRAM afin d'atteindre les performances élevées requises pour ces recherches.
La technologie AiSAQ™ de KIOXIA offre une solution ANNS évolutive et performante pour les grands ensembles de données, avec une consommation de mémoire négligeable et des modifications d'index ultra-rapides.
L'un de ses principaux atouts
est sa capacité à permettre aux bases de données volumineuses de fonctionner sans dépendre des ressources DRAM limitées, améliorant ainsi les performances des systèmes RAG.
Cela élimine la nécessité de charger les données d'index dans la DRAM, permettant ainsi un démarrage instantané de la base de données vectorielle. Ceci permet une commutation transparente entre les bases de données spécifiques à un utilisateur ou à une application sur le même serveur, pour une fourniture efficace du service RAG.
Optimisé pour les systèmes cloud grâce au stockage des index dans un espace de stockage désagrégé, partageable entre plusieurs serveurs. Cette approche ajuste dynamiquement les performances de recherche dans les bases de données vectorielles pour des utilisateurs ou applications spécifiques et facilite la migration rapide des instances de recherche entre serveurs physiques.
« La solution AiSAQ™ de KIOXIA ouvre la voie à une évolutivité quasi infinie des applications RAG sur les systèmes d'IA générative basés sur des disques SSD au cœur du système », a déclaré Axel Stoermann, vice-président et directeur technique de KIOXIA Europe GmbH. « En utilisant la technologie ANNS sur SSD, nous réduisons la dépendance à la DRAM coûteuse tout en répondant aux exigences de performance des principales solutions en mémoire, améliorant ainsi considérablement les performances des applications RAG à grande échelle. »
