Les outils d'IA générative, tels que les modèles de langage étendus (LLM), transforment la gestion des connaissances en entreprise en automatisant l'organisation, la récupération et l'analyse des données, ce qui accroît la productivité et améliore la prise de décision. Les LLM personnalisés améliorent la précision, tandis que l'entraînement en périphérie renforce la confidentialité des données. Cette solution prend en charge le réglage fin des LLM avec un à quatre GPU AI SQ ai100 et SSD, permettant aux entreprises d'entraîner les LLM à moindre coût tout en préservant la sécurité des données sensibles en périphérie.

Advantech propose quatre options : AIR-520-L13B, L33B, L70B et L70B-Plus, adaptées à différentes échelles et applications. Le L13B est idéal pour les applications en temps réel telles que les chatbots et la traduction automatique. Le L33B est davantage axé sur les tâches complexes, telles que l'amélioration de la productivité et la stimulation de l'innovation dans la création de contenu. Le L70B excelle dans l'analyse de données sophistiquée et la prise de décision dans des domaines spécialisés. De plus, le L70B-Plus, équipé de laplateforme logicielle NVIDIA AI Enterprise, offre des kits de développement logiciel (SDK) d'IA complets, fiables et optimisés, assortis d'un support à long terme et de services de conseil d'experts, garantissant ainsi le déploiement efficace d'applications d'entreprise.

Toutes les versions intègrent des SSD SQ ai100 AI, basés sur la technologie aiDAPTIV+ de Phison. Ces SSD étendent la mémoire vidéo (vRAM) du GPU, permettant au système d'affiner précisément les modèles LLM avec un nombre minimal de GPU. Le serveur AIR-520 Edge AI est conçu pour une large gamme d'applications d'IA en périphérie de réseau. De taille comparable à celle d'un PC de bureau, il peut être monté en rack grâce aux accessoires appropriés. Son faible encombrement permet le déploiement d'un environnement d'optimisation d'IA en périphérie.

Outre ses capacités d'optimisation des modèles LLM, Advantech fournit un SDK Edge AI avec GenAI Training Studio, préchargé avec des modèles Llama-2 13B/33B/70B pour des applications telles que les chatbots et l'analyse de données. Cela simplifie et accélère l'entraînement des modèles LLM spécifiques au client et l'évaluation de l'inférence sur l'AIR-520. De plus, DeviceOn d'Advantech fournit des mises à jour logicielles/de conteneurs par liaison sans fil (OTA) et une gestion à distance, facilitant une orchestration efficace de l'IA en périphérie et une maintenance à long terme.

Plus d'informations