Edge-KI die nötige Basis geben
Advantech bringt die KI an die Edge
KI-Modelle an der Edge auszuführen, hat gegenüber der KI in der Cloud große Vorteile. Die notwendigen CPUs, GPUs und NPUs sind vorhanden und bilden die Basis von Computer-on-Modules, Motherboards und Box-IPCs. Welche Optionen gibt es nun im Einzelnen?
Künstliche Intelligenz (KI) ist mittlerweile ein fester Bestandteil unseres Alltags, oft ohne, dass wir es bewusst wahrnehmen. KI verändert unseren Alltag stetig – und mit neuen Entwicklungen wird sie noch tiefer in unser Leben integriert.
Der Aufbau einer KI umfasst mehrere Komponenten, die zusammenarbeiten, um Daten zu verarbeiten, Muster zu erkennen und Entscheidungen zu treffen. Die wichtigsten Bestandteile sind die Datengrundlage (Text, Bilder, Sprache, Zahlen, Sensoren, Internet, Datenbanken, Benutzerinteraktionen), Algorithmen und Modelle, Trainingsprozesse, Neuronale Netze und letztendlich die Hardwarearchitektur.
Die Rechenleistung spielt eine entscheidende Rolle in der Entwicklung und Anwendung von KI. Sie beeinflusst, wie schnell und effizient KI-Modelle trainiert und ausgeführt werden können. So wurde GPT-3 mit 175 Mrd. Parametern in 10.000 Nvidia-V100-GPUs und mehreren tausend Servern über Wochen trainiert. Die KI steht in der Industrie und im Mittelstand noch am Anfang und wird zum Großteil noch in der Cloud ausgeführt. Vorteile einer Verlagerung der KI in die lokale Infrastruktur und an die Applikation sind gegenüber dem in der Cloud betriebenen Modell die verkürzten Latenzzeiten bei der Ausführung, die geringeren Breitbandkosten durch massiv reduzierten Datentransfer sowie der Datenschutz. Hier entstehen viele neue, individuelle KI-Anwendungen in Industrie, Retail oder Medizinprozessen. Die Rechenleistung wird in die lokale IT-Infrastruktur, sprich: an die Edge, verlagert und verteilt. Das Modell-Training läuft in lokalen KI-Servern wie etwa dem AIR-520 von Advantech, auf Basis der mit bis zu 64 Kernen ausgestatteten AMD-CPU EPYC 7003, die wir über vier Expansion Slots um weitere GPU-Karten erweitern können, oder dem AIR-530 auf Basis der Nvidia-IGX-Plattform. Typische Modellgrößen liegen von ein paar MB bis 500 MB für kleine Modelle auf mobilen Edge-Computer-Plattformen und bis etwa 5 GB bei performanten Plattformen.
Die fertigen KI-Modelle werden auf Basis neuer Chiptechnologien in der Inference Unit an der Applikation ausgeführt, wo das SoC eine Kombination aus CPU, GPU und NPU darstellen kann. Solche Kombinationen sind sowohl in der x86-Architektur als auch in der ARM-Architektur verfügbar, ermöglichen die effiziente Ausführung des Programmcodes in dem jeweiligen Rechenkern und verlagern die Ausführung des KI-Modells zur GPU und/oder NPU. Hierbei eignet sich die CPU für allgemeine Rechenaufgaben und die GPU für Aufgaben, die parallelisiert werden können, etwa das Training von Deep-Learning-Modellen. Die NPU dagegen ist ein spezialisierter Prozessor, der darauf ausgelegt ist, neuronale Netzwerkoperationen und KI-Aufgaben zu beschleunigen. Sie ist für datengetriebenes paralleles Rechnen optimiert.
Unsere Computerlösungen beruhen auf den neuesten Chipgenerationen, etwa dem Intel-Core-Ultra-Prozessor oder dem AMD-Ryzen-8000-Prozessor für die x86-Architektur sowie Nvidia, Qualcomm, NXP, Rockchip und Texas Instruments für ARM-SoCs. Ein KI-Beschleuniger-Modul auf Basis des Hailo-8-Chips im M.2-Format oder als PCI-Express-Karte ermöglicht es, jedes System auf KI-Funktionalitäten aufzurüsten oder zu skalieren. Es bedarf nicht immer einer leistungsstarken CPU, sondern der richtigen Konfiguration, um KI-Applikationen in Systemen mithilfe von GPUs und NPUs auszuführen.
Den Kunden die richtige Konfiguration für ihre Applikationen anzubieten, ist nach Modellgenerierung und Training die nächste wichtige Aufgabe. Das Produktspektrum von Advantech umfasst hierfür unterschiedlichste Board-Lösungen, von Computer-on-Modules gemäß Standards wie OSM, COM Express, COM-HPC, SMARC und Qseven bis hin zur Motherboard-Standard-Lösungen - oder alternativ zu fertigen Embedded-Computer-Box-Lösungen aus unserer AIR- oder EPC-Serie. Skaliert mit der passenden Intel- oder Nvidia-GPUs, den Hailo-KI-Beschleuniger-Modulen, entsprechendem industriellem Speicher, Memory-Modulen aus unserer eigenen SQ-Serie sowie bei Bedarf industriellen Wireless-Modulen unserer AIW-Serie, um Connectivity herzustellen.
Einer der wichtigen Aspekte bei der Erstellung einer KI-Applikation ist die benötigte Systemperformance und wie sie zu ermitteln ist. Synthetische Benchmarks sind kaum aussagekräftig, weil sich die Architekturen deutlich unterscheiden. Die systembezogenen Angaben der TFLOPS oder TOPS lassen sich nicht für direkte Performance-Vergleiche heranziehen. Die Angabe der TOPS (Tera Operations per Second) bezieht sich meist auf die NPU und ist eine Integer-Berechnung, wohingegen TFLOPS (Tera Floating Point Operations per Second) bei GPUs und CPUs herangezogen wird. Die wirkliche Performance wird möglichst nah an der jeweiligen Workload oder dem Use Case in der jeweiligen Systemumgebung getestet.
Advantech bietet das Softwaretool »Edge AI SDK« an, das hilfreich ist, um aussagekräftige Performance-Benchmarks bei der Modellausführung auf unterschiedlichen Plattformen zu ermitteln. Die Software bietet für erste Tests verschiedene Beispielmodelle oder die Option, das für die Zielapplikation trainierte KI-Modell hochzuladen. Je näher das KI-Modell an der finalen Zielapplikation liegt, desto aussagekräftiger sind Ergebnisse wie »Latency« oder »Frames per Second« bei der Modellausführung. Hierbei können Anwender die Performance des KI-Modells für CPU/GPU/NPU getrennt oder kombiniert betrachten, was ihnen die Möglichkeit eröffnet, ihre eigene passende Hardware-Lösung zu ermitteln. Nicht jede Applikation erfordert eine leistungshungrige GPU. In vielen Fällen des Edge Computing reicht eine Kombination von Mobile-CPU und KI-Beschleuniger aus, um das Modell und die Applikations-Software mit ausreichender Performance an der Applikation zu betreiben.
Thomas Kaminski ist Director Product Sales & Marketing Embedded IoT bei Advantech Europe.
Advantech auf der Messe embedded world 2025: Halle 3, Stand 339
Jobangebote+ passend zum Thema
Lesen Sie mehr zum Thema
