El sistema distribuido de IA generativa MIC-733-AO de Advantech, que es compatible con los modelos de IA generativa de NVIDIA del laboratorio Jetson AI, ahora ejecuta modelos LLM (large language models) y VLM (vision language model), así como transformadores de visión (ViT), generación de imágenes y Llamaspeak distribuidas, todo ello gracias a su NVIDIA® Jetson AGX Orin™. Las funciones de la plataforma abarcan varias capas, como procesamiento acelerado, software vital de IA y modelos previamente entrenados, por lo que facilitan la creación, la adaptación y el despliegue de modelos de IA generativa apropiados para varias aplicaciones y ubicaciones.
Con los modelos de IA generativa del laboratorio Jetson AI, los desarrolladores pueden aprovechar la técnica RAG (retrieval-augmented generation) para conectar los modelos LLM y VLM a la base de conocimientos de una empresa. Este planteamiento acaba con la necesidad del entrenamiento tradicional de modelos de IA y permite unas interacciones conversacionales sencillas con el sistema para obtener inferencias de IA, acortando así de modo significativo el tiempo de desarrollo.
El MIC-733-AO de Advantech proporciona un elevado rendimiento de IA e incorpora diversos interfaces de vídeo, como cámaras IP, cámaras industriales USB/gigE, cámaras GMSL y LiDAR, entre otros, permitiendo así el funcionamiento de un modelo distribuido de IA generativa. Su excepcional diseño térmico previene fallos debidos al calor, incluso cuando el NVIDIA® Jetson AGX Orin™ funciona a su máxima capacidad.
La IA generativa está revolucionando la interacción entre personas y ordenadores al crear contenido nuevo a partir de varias entradas y salidas, como texto e imágenes. La evolución de la demanda, de la nube a posiciones distribuidas de IA generativa, es ideal para entornos que exijan una respuesta muy rápida y baja latencia.
La IA generativa y distribuida ofrece varias ventajas respecto a las soluciones basadas en la nube:
Respuesta inmediata: Los sistemas informáticos distribuidos, que integran fuentes de datos como cámaras y sensores, permiten respuestas rápidas de IA generativa sin los retardos que caracterizan a las conexiones con la nube.
Seguridad de la información: Los datos permanecen dentro del sistema distribuido, por lo que evitan los riesgos de ciberseguridad que caracterizan a la transmisión de datos con la nube.
Conexión estable a la red: El sistema distribuido, que puede funcionar sin una red inalámbrica, almacena los datos localmente hasta que se restaura la conexión a la red, a diferencia de la IA basada en la nube que deja de funcionar sin una red.
Bajos costes de transmisión: La IA distribuida no tiene costes de transmisión si no requiere comunicación con el backend y solo necesita transmisión con un pequeño ancho de banda, la cual es más rentable que los costes para un gran ancho de banda de las conexiones con la nube.
