Arrows interne Experten brachten ihre umfassende Designkompetenz in das Projekt ein und berieten hinsichtlich Firmware- und Hardware-Design. Zudem entwickelten und validierten sie die Firmware für das Energiemanagement. Arrow kümmerte sich außerdem um das Debugging der Mikrocontroller (MCU) und die Optimierung der Leistungsflüsse der Plattform, um die erfolgreiche Markteinführung von NAPU, NR1-S und der eingebetteten NeuReality-Software in Rekordzeit zu gewährleisten.
Das Arrow-Team half bei der Auswahl des optimalen MCU für die Schnittstelle zwischen den PCIe-Kartensystemkomponenten und dem Server.
Der NR1 NAPU™ ist ein kundenspezifischer On-Chip-Server, der die volle Leistung jedes dedizierten KI-Beschleunigers ausschöpft – von derzeit knapp 30 Prozent auf 100 Prozent Auslastung. Dadurch wird der Gesamtdurchsatz erhöht und der Siliziumverbrauch reduziert. NAPU migriert nicht nur Dienste wie Netzwerkterminierung, Quality of Service (QoS) und KI-Vor- und Nachbearbeitung, sondern optimiert auch den Datenfluss für die große Menge und Vielfalt der KI-Pipelines.
Die NeuReality-Systemarchitektur beseitigt den Leistungsengpass, der durch die traditionelle, CPU-zentrierte Systemarchitektur entsteht, auf die alle KI-Inferenzsysteme und Hardwarehersteller heute setzen. Infolgedessen steigert der NR1-S die Kosteneffizienz und Energieeffizienz beim Betrieb von KI-Datenpipelines mit hohem Datenvolumen und hoher Varianz – ein entscheidender finanzieller Faktor beim Einsatz moderner, energieintensiver konventioneller und generativer KI-Anwendungen.
„Unsere NAPU behebt die größten Engpässe, die die Leistung aktueller KI-Beschleuniger einschränken, wie etwa das Energiemanagement und die Datenübertragung vom Netzwerk zum KI-Beschleuniger, typischerweise einer GPU, einem FPGA oder einem ASIC“, so Eli Bar-Lev, Hardware-Leiter bei NeuReality. „Die Unterstützung von Arrow mit Hardware und Firmware für Energiemanagement und Wärmemanagement ermöglichte es uns, unsere Ressourcen auf eine umfassende Silizium-zu-Software-KI-Inferenzlösung zu konzentrieren, die den Markteintritt für Regierungen und Unternehmen weltweit erleichtert.“
„Dieses spannende Projekt hat das Potenzial, KI-Inferenz in Unternehmen in der Cloud und On-Premises erschwinglicher und schneller zu machen und damit den Zugang zu wertvollen Diensten in den Bereichen medizinische und gesundheitliche Bildgebung, Bankwesen und Versicherung sowie KI-gestützte Callcenter und virtuelle Assistenten zu verbessern“, sagte Vitali Damasevich, Engineering Director für Osteuropa und das EMEA Engineering Solutions Center.

Weitere Informationen