Como parte do pacote de software Advantech Edge AI SDK, o GenAI Studio aborda os desafios do setor, como a redução do tempo de espera dos operadores no chão de fábrica para obter informações críticas e a simplificação da carga de trabalho documental para os profissionais de saúde. A sua plataforma eficiente e sem código facilita a adoção de LLM (Learning Learning Machine), permitindo às organizações implementar soluções de IA de forma rápida e eficaz, além de melhorar a produtividade e a eficiência operacional. Concebido para o Edge AI SDK da Advantech, o GenAI Studio utiliza uma plataforma LLM versátil com capacidades de integração excecionais para LLMs locais e na cloud, incluindo OpenAI, Gemini, Anthropic e Ollama. Introduz também funcionalidades de ajuste fino para todos os parâmetros, otimizadas para ambientes com recursos de GPU limitados, possibilitando uma maior acessibilidade e melhorias de desempenho.

O GenAI Studio oferece um conjunto abrangente de ferramentas para o desenvolvimento de LLM:
Serviços integrados de ajuste fino e inferência: O GenAI Studio combina capacidades de ajuste fino e inferência para maximizar a utilização do hardware, permitindo uma alocação de recursos mais flexível e eficiente.
Gestão avançada de recursos de GPU e agendamento de tarefas: Estes recursos permitem aos utilizadores otimizar o desempenho do hardware de IA, melhorando a relação custo-benefício de equipamentos de alto valor.

A rápida expansão da IA ​​evidenciou a necessidade de soluções de LLM acessíveis. No entanto, muitas empresas enfrentam limitações de recursos. O SDK de IA de Borda da Advantech resolve este desafio oferecendo um conjunto de ferramentas concebidas para avaliar, desenvolver e implementar aplicações de IA de borda de forma eficiente. Por exemplo, o ajuste fino de um modelo de LLM com 70 mil milhões de parâmetros, que normalmente requer mais de 30 GPUs com 48 GB de memória cada, pode ser realizado com apenas 4 GPUs utilizando o SDK de IA de Borda da Advantech. Isto representa uma redução de 87% nos requisitos de recursos, diminuindo drasticamente os custos e tornando as soluções de LLM mais acessíveis.

Para complementar o GenAI Studio, o servidor AIR-520 de IA de Borda da Advantech oferece uma plataforma de hardware robusta equipada com GPUs NVIDIA RTX e SSDs Phison AI. Esta integração oferece recursos de computação fiáveis ​​e de alta eficiência, concebidos para satisfazer as exigências de aplicações de IA em setores como a indústria transformadora, a saúde e o retalho.

O SDK de IA de Borda da Advantech é uma plataforma integrada concebida para o desenvolvimento contínuo de IA na borda. Com hardware pré-configurado e software otimizado, oferece uma experiência plug-and-play que permite a personalização eficiente de LLMs, uma compatibilidade perfeita com ferramentas de desenvolvimento e uma gestão descomplicada de implementações de grande escala na extremidade da rede. Concebido com foco na fiabilidade, escalabilidade e facilidade de utilização, o SDK de IA para Borda da Advantech simplifica o caminho para a inovação em IA. Agora, inclui três componentes principais:
GenAI Studio: Facilita a criação, avaliação e integração eficientes de LLMs personalizados localmente.
Inference Kit: Permite a otimização e avaliação rápidas de tempos de execução de IA eficientes, compatíveis com sistemas operativos embebidos.
Plataforma de orquestração: Oferece uma gestão eficiente de atualizações de aplicações e modelos de IA em grandes implementações na extremidade da rede, com integração de MLOps para proporcionar operações mais ágeis.

Mais informações