Engineering Services
Arrow unterstützt KI-Startup NeuReality
Ingenieure von Arrow Electronics spielten eine wichtige Rolle bei der Entwicklung der weltweit ersten 7nm Network Addressable Processing Unit (NR1 NAPU), die in der NR1-S AI Inference Appliance von NeuReality integriert ist.
Die innovative Komplettlösung bietet durch Kosteneinsparungen und Energieeffizienz signifikante Wettbewerbsvorteile gegenüber herkömmlichen CPU-zentrierten Architekturen.
In Kombination mit KI-Beschleunigern in einem KI-Inferenzserver senkt die NR1-S die Rechenzentrumskosten laut NeuReality um bis zu 90 Prozent und verbessert die Energieeffizienz um das bis zu 15-Fache. Sie ermöglicht zudem lineare Skalierbarkeit ohne Leistungseinbrüche oder Verzögerungen, selbst bei Verwendung weiterer KI-Beschleuniger.
Die Experten von Arrow brachten ihr Können im Embedded-Design ein und unterstützten das Projekt durch Beratung bei Firmware und Hardware sowie bei der Entwicklung und Validierung der Power-Management-Firmware. Arrow übernahm außerdem das Debugging des Mikrocontrollers (MCU) und der Stromflüsse auf der Plattform, um die erfolgreiche Inbetriebnahme der NAPU, der NR1-S und der integrierten NeuReality-Software schnell sicherzustellen. Darüber hinaus half das Arrow-Team bei der Auswahl der optimalen MCU zur Sicherstellung der Schnittstellenverbindung zwischen den Systemkomponenten der PCIe-Karte und dem Server.
Die NR1 NAPU ist ein maßgeschneiderter »Server on a Chip«, der die Effizienz jedes einzelnen KI-Beschleunigers von aktuell etwa 30 Prozent auf 100 Prozent Vollauslastung steigert, was zu einer signifikanten Leistungssteigerung führt und gleichzeitig Silizium-Abfälle reduziert. Diese Einheit kann nicht nur Dienste wie Netzabschluss, Servicequalität und KI-Datenvor- und -nachverarbeitung migrieren, sondern auch den Datenfluss für das hohe Datenaufkommen und die Vielfalt von KI-Pipelines verbessern.
Systemarchitektur überwindet Engpässe
Die Systemarchitektur von NeuReality überwindet die Engpässe, die durch herkömmliche CPU-zentrierte Systeme entstehen, auf die sich heutzutage alle KI-Inferenzsysteme und Hardware-Hersteller stützen. Dadurch reduziert NR1-S Kosten und steigert die Energieeffizienz erheblich – ein wesentlicher Vorteil bei der Ausführung von KI-Datenpipelines mit hohem Datenaufkommen und großer Datenvielfalt und ein wichtiger finanzieller Aspekt für einen effizienten Einsatz der heutigen leistungshungrigen konventionellen und generativen KI-Anwendungen.
»Unsere NAPU löst die größten Leistungsengpässe der heutigen KI-Beschleuniger einschließlich des Energiemanagements und der Übertragung von Daten aus dem Netzwerk in den KI-Beschleuniger, in der Regel eine GPU, ein FPGA oder ein ASIC«, erklärt Eli Bar-Lev, Director Hardware bei NeuReality. »Dank der Unterstützung von Arrow bei Hardware und Firmware für das Energiemanagement und die Wärmetechnik konnten wir uns auf die Entwicklung einer vollwertigen Silizium-zu-Software-KI-Inferenzlösung konzentrieren, die Barrieren auf dem KI-Markt für Regierungen und Unternehmen weltweit abbauen wird.«
»Dieses spannende Projekt hat das Potenzial, die KI-Inferenzierung in der Cloud und On-Premise für Unternehmen deutlich erschwinglicher und schneller zu machen und damit den Zugang zu wertvollen Diensten in Bereichen wie Gesundheitswesen und medizinischer Bildgebung, Banken, Versicherungen sowie in KI-gesteuerten Kunden-Callcentern und virtuellen Assistenten zu verbessern«, ergänzt Vitali Damasevich, Director Engineering Eastern Europe & Engineering Solutions Center EMEA.
Jobangebote+ passend zum Thema
Lesen Sie mehr zum Thema
Das könnte Sie auch interessieren
