O sistema de IA generativa distribuída MIC-733-AO da Advantech, que suporta os modelos de IA generativa do NVIDIA Jetson AI Lab, executa agora modelos de linguagem de grande escala (LLMs) e modelos de linguagem de visão (VLMs), bem como transformadores de visão distribuídos (ViTs), geração de imagens e Llamaspeak, tudo isto com a tecnologia do NVIDIA® Jetson AGX Orin™. As capacidades da plataforma abrangem múltiplas camadas, incluindo processamento acelerado, software de IA essencial e modelos pré-treinados, facilitando a criação, adaptação e implementação de modelos de IA generativa adequados para diversas aplicações e locais.
Com os modelos generativos de IA da Jetson AI, os programadores podem tirar partido da geração aumentada por recuperação (RAG) para ligar os modelos LLM e VLM à base de conhecimento da empresa. Esta abordagem elimina a necessidade de formação tradicional de modelos de IA e permite interações conversacionais simples com o sistema para obter inferências de IA, reduzindo significativamente o tempo de desenvolvimento.
O Advantech MIC-733-AO oferece um elevado desempenho em IA e incorpora diversas interfaces de vídeo, incluindo câmaras IP, câmaras industriais USB/gigE, câmaras GMSL e LiDAR, entre outras, permitindo a operação de um modelo de IA generativa distribuída. O seu design térmico excecional evita falhas por sobreaquecimento, mesmo quando o NVIDIA® Jetson AGX Orin™ está a funcionar em plena capacidade.
A IA generativa está a revolucionar a interação humano-computador ao criar novos conteúdos a partir de diversas entradas e saídas, como texto e imagens. A crescente procura por IA generativa, desde ambientes de cloud a ambientes distribuídos, é ideal para cenários que exigem tempos de resposta muito rápidos e baixa latência.
A IA generativa e distribuída oferece diversas vantagens em relação às soluções baseadas na cloud:
Resposta imediata: Os sistemas de computação distribuída, que integram fontes de dados como câmaras e sensores, permitem respostas rápidas da IA generativa sem a latência inerente às ligações na cloud.
Segurança dos dados: Os dados permanecem dentro do sistema distribuído, evitando assim os riscos de cibersegurança associados à transmissão de dados na nuvem.
Ligação de rede estável: O sistema distribuído, que pode operar sem uma rede sem fios, armazena os dados localmente até que a ligação de rede seja restabelecida, ao contrário da IA baseada na nuvem, que deixa de funcionar sem uma rede.
Baixo custo de transmissão: A IA distribuída não incorre em custos de transmissão se não necessitar de comunicação com o servidor e necessitar apenas de transmissão de baixa largura de banda, o que é mais económico do que os elevados custos de largura de banda das ligações à nuvem.
