As ferramentas de IA generativa, como os Modelos de Linguagem de Grande Porte (LLMs), estão a transformar a gestão do conhecimento empresarial ao automatizar a organização, a recuperação e a análise de dados, aumentando assim a produtividade e melhorando a tomada de decisões. Os LLM personalizados aumentam a precisão, enquanto o treino na borda da rede incrementa a privacidade dos dados. Esta solução suporta o ajuste fino de LLMs com uma a quatro GPUs AI SQ ai100 e SSDs, permitindo às empresas treinar LLMs de forma económica, mantendo a segurança dos dados sensíveis na borda.

A Advantech oferece quatro opções: AIR-520-L13B, L33B, L70B e L70B-Plus, adaptadas a diferentes escalas e aplicações. O L13B é ideal para aplicações em tempo real, como chatbots e tradução de línguas. O L33B está mais focado em tarefas complexas, como o aumento da produtividade e o fomento da inovação na criação de conteúdos. O L70B destaca-se na análise sofisticada de dados e na tomada de decisões em áreas especializadas. Além disso, o L70B-Plus, equipado com aplataforma de software NVIDIA AI Enterprise, oferece SDKs de IA abrangentes, fiáveis ​​e otimizados, com suporte a longo prazo e serviços de consultoria especializada, garantindo a implementação eficiente de aplicações empresariais.

Todas as versões incluem SSDs de IA SQ ai100, baseados na tecnologia aiDAPTIV+ da Phison. Estes SSD atuam como uma extensão da vRAM da GPU, permitindo que o sistema ajuste com precisão os LLM com um número mínimo de GPU. O servidor Edge AI AIR-520 foi concebido para utilização numa vasta gama de aplicações de IA na borda. O seu tamanho é comparável ao de um PC de secretária e pode ser montado em rack com os acessórios adequados. O seu perfil baixo permite a implementação de um ambiente de refinamento de IA na borda.

Para além das capacidades de ajuste de LLM, a Advantech disponibiliza um SDK de IA na borda com o GenAI Training Studio, pré-carregado com modelos Llama-2 13B/33B/70B para aplicações como chatbots e análise de dados. Isto simplifica e acelera o treino de modelos LLM específicos do cliente e a avaliação de inferência no AIR-520. Além disso, o DeviceOn da Advantech fornece atualizações de software/contentores over-the-air (OTA) e gestão remota, facilitando a orquestração eficiente da IA ​​na borda e a manutenção a longo prazo.

Mais informações