生成式人工智能工具,例如大型语言模型 (LLM),通过自动化数据组织、检索和分析,正在变革企业知识管理,从而提高生产力并改进决策。定制化的 LLM 可提升准确性,而边缘训练则可增强数据隐私。该解决方案支持使用 1 至 4 个 AI SQ ai100 GPU 和 SSD 对 LLM 进行微调,使企业能够以经济高效的方式训练 LLM,同时确保边缘敏感数据的安全性。

研华提供四种选择:AIR-520-L13B、L33B、L70B 和 L70B-Plus,分别针对不同的规模和应用场景。L13B 非常适合聊天机器人和语言翻译等实时应用。L33B 更专注于复杂任务,例如提高生产力和推动内容创作创新。L70B 则擅长在专业领域进行复杂的数据分析和决策。此外,搭载NVIDIA AI 企业软件平台的 提供全面、可靠且优化的 AI SDK,并提供长期支持和专家咨询服务,确保企业应用的高效部署。

所有版本均包含基于群联电子 aiDAPTIV+ 技术的 SQ ai100 AI SSD。这些 SSD 可作为 GPU 显存的扩展,使系统能够以最少的 GPU 数量精确地微调 LLM 模型。AIR-520 Edge AI 服务器专为各种边缘 AI 应用而设计。其尺寸与台式机相当,并可通过相应的配件进行机架式安装。其低矮的外形使其能够在边缘部署 AI 优化环境。

除了 LLM 调优功能外,研华还提供预装 Llama-2 13B/33B/70B 模型的 GenAI Training Studio Edge AI SDK,适用于聊天机器人和数据分析等应用。这简化并加速了AIR-520上客户特定的LLM模型训练和推理评估。此外,研华的DeviceOn提供空中下载(OTA)软件/容器更新和远程管理,从而促进高效的边缘AI编排和长期维护。

更多信息