Nvidia auf der Computex in Taipeh Edge-Computing-Plattform für KI in Echtzeit

Taipeh - Schauplatz der Computex.
Taipeh - Schauplatz der Computex.

Der GPU-Hersteller Nvidia setzt verstärkt auf Edge Computing und hat dazu auf der Computex in Taipeh seine neue Computing-Plattform EGX vorgestellt. Sie verspricht niedrige Latenzzeiten und KI-Fähigkeiten am Rande des Netzwerks.

Der im kalifornischen Santa Clara ansässige Computergrafik-Chiphersteller Nvidia hat auf der Computer-Messe Computex in Taipeh seine neue Edge-Computing-Plattform Nvidia EGX vorgestellt. Das Unternehmen präsentierte dabei bereits mehrere führende Computer-Hersteller, die die EGX-Plattform einsetzen. Diese bieten GPU-Edge-Server mit KI-Fähigkeiten auf Echtzeit-Streaming-Daten an, die in Telekommunikation, Gesundheitswesen, Fertigung, Einzelhandel, Transport und Logistik eingesetzt werden können.
Bei Nvidia EGX handelt es sich um eine beschleunigte Computerplattform, die es Unternehmen ermöglicht, KI-basierte Datenverarbeitung mit niedrigen Latenzzeiten am Rande des Netzwerks (Edge) anzuwenden — um kontinuierliche Streaming-Daten zwischen 5G-Basisstationen, Lagern, Einzelhandelsgeschäften, Fabriken und darüber hinaus in Echtzeit zu erkennen, zu verstehen und dann zu handeln.
Die EGX-Plattform wurde entwickelt, um der wachsenden Nachfrage nach sofortiger, hochdurchlässiger KI am Ende eines Netzwerks — wo Daten entstehen — mit garantierten Reaktionszeiten gerecht zu werden und gleichzeitig die Datenmengen zu reduzieren, die in die Cloud übertragen werden müssen.
Bis 2025 werden 150 Milliarden Maschinensensoren und IoT-Geräte kontinuierliche Daten streamen, die verarbeitet werden müssen, um Größenordnungen mehr als heute Smartphone-Nutzer produzieren. Edge-Server können vor Ort diese Sensordaten in Echtzeit verarbeiten und damit sowohl Kommunikationsnetze als auch die Cloud-Rechenzentren entlasten. »Unternehmen verlangen eine immer leistungsfähigere Verarbeitung ihrer Ozeane von Rohdaten am Edge — einem permanenten Datenstrom aus unzähligen Interaktionen mit Kunden und Lieferanten. Um das schnell hinzubekommen und Geschäfte voranzutreiben, bieten sich KI-gestützte Entscheidungen an«, erklärte Bob Pette, Vice President und General Manager von Enterprise und Edge-Computing bei Nvidia. »Eine skalierbare Plattform wie Nvidia EGX ermöglicht es ihnen, Systeme einfach und bedarfsgerecht vor Ort, in der Cloud oder auf beiden Seiten einzusetzen.«

Skalierbarkeit von 0,5 bis 10.000 TOPS

Die EGX-Plattform startet mit dem winzigen Nvidia Jetson Nano, der mit einer Leistungsaufnahme von wenigen Watt eine Rechenleistung von einer halben Billion Operationen pro Sekunde (TOPS) für Aufgaben wie die Bilderkennung bereitstellen kann. Und sie erstreckt sich bis hin zu einem vollen Rack von Nvidia T4-Servern, die mehr als 10.000 TOPS beispielsweise für Echtzeit-Spracherkennung und andere Echtzeit-KI-Aufgaben liefern.
Nvidia ist eine Partnerschaft mit Red Hat eingegangen, um den eigenen Edge Stack mit »OpenShift« zu integrieren und optimieren, der führenden »Kubernetes«-Container Orchestrierungsplattform für Unternehmen. Der Nvidia Edge Stack ist eine optimierte Software, die eigene Treiber, ein »CUDA- Kubernetes-Plugin«, eine »CUDA-Container«-Laufzeit-Routine, »CUDA-X-Bibliotheken« und containerorientierte KI-Frameworks und -Anwendungen, darunter »TensorRT«, »TensorRT Inference Server« und »DeepStream« umfasst. Der Edge Stack ist optimiert für zertifizierte Server und kann von der »Nvidia-Registry NGC« heruntergeladen werden.
»Red Hat ist bestrebt, ein einheitliches Erlebnis für jede Arbeitslast, jeden Fußabdruck und jeden Standort bereitzustellen, von der hybriden Cloud bis zum Edge«, sagte Chris Wright, CTO von Red Hat. »Durch die Kombination von Red Hat OpenShift und Nvidias EGX-fähigen Plattformen können Kunden ihre verteilten Abläufe besser optimieren.«