GenAI Studio, intégré à l'offre logicielle Edge AI SDK d'Advantech, répond aux enjeux du secteur, notamment la réduction des temps d'attente des opérateurs en usine pour l'accès aux informations critiques et l'allègement de la charge de travail documentaire des professionnels de santé. Sa plateforme performante et sans code simplifie l'adoption des modèles de langage (LLM), permettant aux organisations de déployer rapidement et efficacement des solutions d'IA et d'améliorer leur productivité et leur efficacité opérationnelle. Conçu pour l'Edge AI SDK d'Advantech, GenAI Studio exploite une plateforme LLM polyvalente dotée de capacités d'intégration exceptionnelles pour les LLM sur site et dans le cloud, notamment OpenAI, Gemini, Anthropic et Ollama. Il introduit également des fonctionnalités de réglage fin pour tous les paramètres, optimisées pour les environnements aux ressources GPU limitées, offrant ainsi une meilleure accessibilité et des performances accrues.

GenAI Studio propose une suite complète d'outils pour le développement LLM :
Services intégrés de réglage fin et d'inférence : GenAI Studio combine les capacités de réglage fin et d'inférence pour optimiser l'utilisation du matériel, permettant une allocation des ressources plus flexible et efficace.
Gestion avancée des ressources GPU et planification des tâches : ces fonctionnalités permettent d’optimiser les performances du matériel d’IA et d’améliorer le rapport coût-efficacité des équipements haut de gamme.

L’essor rapide de l’IA a mis en évidence le besoin de solutions LLM abordables. Or, de nombreuses entreprises sont confrontées à des contraintes de ressources. Le kit de développement logiciel (SDK) Edge AI d’Advantech répond à ce besoin en proposant une suite d’outils conçus pour évaluer, développer et déployer efficacement des applications Edge AI. Par exemple, l’optimisation d’un modèle LLM comportant 70 milliards de paramètres, qui nécessite généralement plus de 30 GPU de 48 Go de mémoire chacun, peut être réalisée avec seulement 4 GPU grâce au SDK Edge AI d’Advantech. Cela représente une réduction de 87 % des besoins en ressources, ce qui diminue considérablement les coûts et rend les solutions LLM plus accessibles.

En complément de GenAI Studio, le serveur Edge AI AIR-520 d’Advantech fournit une plateforme matérielle robuste équipée de GPU NVIDIA RTX et de SSD Phison AI. Cette intégration offre des capacités de calcul fiables et performantes, conçues pour répondre aux exigences des applications d’IA dans des secteurs tels que l’industrie, la santé et la distribution.

Le kit de développement logiciel (SDK) Edge AI d'Advantech est une plateforme intégrée conçue pour un développement d'IA fluide en périphérie. Grâce à son matériel préconfiguré et à son logiciel optimisé, il offre une expérience plug-and-play permettant une personnalisation efficace des modèles logiques (LLM), une compatibilité parfaite avec les outils de développement et une gestion simplifiée des déploiements Edge à grande échelle. Conçu pour garantir fiabilité, évolutivité et simplicité d'utilisation, le SDK Edge AI d'Advantech facilite l'innovation en IA. Il comprend désormais trois composants principaux :
GenAI Studio : facilite la création, l'évaluation et l'intégration locales de modèles logiques personnalisés.
Inference Kit : permet l'optimisation et l'évaluation rapides d'environnements d'exécution d'IA performants, compatibles avec les systèmes d'exploitation embarqués.
Plateforme d'orchestration : assure une gestion efficace des mises à jour d'applications et des modèles d'IA dans les déploiements Edge à grande échelle, avec une intégration MLOps pour des opérations plus agiles.

Plus d'informations