AI für den Netzwerkrand
Advantech präsentiert Edge-KI-System MIC-733-AO
Das auf Nvidia Jetson AGX Orin basierende Edge-KI-System MIC-733-AO von Advantech bietet die Möglichkeit, verschiedene generative KI-Modelle wie LLM, VLM, ViT und Bilderzeugung individuell anzupassen und effizient direkt am Netzwerkerand zu nutzen.
Mit dem MIC-733-AO kündigt Advantech die Demo zur generativen KI an. Das ab sofort erhältliche Edge-KI-System ist mit den generativen KI-Modellen von Nvidia aus dem Jetson KI-Labor kompatibel. Das darin enthaltene kostenlose KI-Basismodell ermöglicht Entwicklern einfache individuelle Anpassungen der Presets und soll so die Entwicklungszeit deutlich verkürzen. Im Einsatz erlaubt es das Nvidia Jetson AGX Orin den Anwendern, große Sprachmodelle (LLMs), Vision-Sprachmodelle (VLMs), Vision-Transformatoren (ViTs) sowie Bilderzeugung und Llamaspeak effizient direkt am Netzwerkrand auszuführen. Im Vergleich zur cloudbasierten generativen KI profitieren die Entwickler durch den lokalen Einsatz von größerer Unmittelbarkeit, verbesserter Sicherheit und geringeren Internetkosten. Somit empfiehlt der Einsatz vor allem überall dort, wo eine hohe Reaktionsfähigkeit und niedrige Latenzzeiten sowie ein hoher Datenschutzlevel und große Ausfallsicherheit gefordert sind.
Jobangebote+ passend zum Thema
Generative KI auf MIC-733-AO
Das Angebot der Plattform umfasst mehrere Ebenen wie beschleunigte Rechenleistung, grundlegende KI-Software sowie vortrainierte Modelle. Dieses Paket bietet umfangreiche Möglichkeiten für die Erstellung, Anpassung und Bereitstellung von generativen KI-Modellen und deren Anpassung an verschiedene Anwendungen und Standorte. Dabei erlauben es die generativen KI-Modelle des Jetson KI-Labors den Entwicklern mittels der RAG-Technik (Retrieval-Augmented Generation) auch, Modelle wie LLMs und VLMs mit der Wissensbasis eines Unternehmens zu verbinden. Weil damit das sonst übliche Training der KI-Modelle entfällt, da einfache Konversationen mit dem System zu KI-Inferenzen führen, wird die Entwicklungszeit erheblich verkürzt.
Zur entsprechend schnellen Anbindung der Hardware am Einsatzort bringt das MIC-733-AO unter anderem mehrere Videoschnittstellen für Peripherie wie IP-Kameras, USB/GigE-Industriekameras, GMSL-Kameras und auch LiDAR mit. Advantech verspricht, dass das thermische Design des Geräts Heißabstürze selbst unter Vollast der Nvidia Jetson AGX Orin verhindert. Im Einsatz bietet die generative KI beispielsweise neue Möglichkeiten der Interaktion zwischen Mensch und Computer. So können damit beispielsweise neue Inhalte aus verschiedenen Eingaben und Ausgaben, wie etwa Text und Bildern, erstellt werden. Interessenten können sich das System und seine Möglichkeiten im Rahmen einer Live-Demo zur MIC-733-AO LLaVA-Anwendung vorführen lassen.
Vorteile der Edge-KI
Vorteile der netzwerkrandbasierten Nutzung generativer KI im Vergleich zu cloudbasierten Lösungen:
- Sofortige Reaktion: Mit Edge-Computing-Systemen, die Datenquellen wie Kameras und Sensoren integrieren, können GenAIs ohne die mit Cloud-Uploads verbundenen Verzögerungen sofort reagieren.
- Datenschutz: Die Daten verbleiben innerhalb des Netzwerkrandsystems, so dass die mit der Datenübertragung in der Cloud verbundenen Risiken für die Cybersicherheit vermieden werden.
- Stabile Netzwerkverbindung: Das Netzwerkrandsystem kann ohne ein Drahtlosnetzwerk betrieben werden und speichert die Daten lokal, bis das Netzwerk wiederhergestellt ist, im Gegensatz zur cloudbasierten KI, die ohne ein Netzwerk nicht mehr funktioniert.
- Niedrige Übertragungskosten: Bei Edge-KI fallen keine Übertragungskosten an, sofern keine Backend-Kommunikation erforderlich ist. Es wird nur eine Übertragung mit geringer Bandbreite benötigt, was kostengünstiger ist als die höheren Bandbreitenkosten von Cloud-Uploads.
Lesen Sie mehr zum Thema
