Optimierte Hardware, effiziente Modelle
MCUs als Schlüssel zur Demokratisierung von Edge-KI
In den letzten Jahren hat KI immer mehr an Popularität gewonnen. Es wird erwartet, dass der zugehörige Weltmarkt bis 2035 mit einer durchschnittlichen jährlichen Wachstumsrate von 27,8 Prozent auf einen Nettowert von 356,84 Mrd. Dollar anwächst.
Diese Nachfrage wird durch eine Reihe von Faktoren angeheizt. Durch die Verarbeitung von Daten am Netzwerkrand (Edge) werden Sicherheitsbedenken ausgeräumt, die Unternehmen bei der Weiterleitung sensibler oder geschützter Daten in die Cloud haben könnten. Die Edge-Verarbeitung verringert auch die Latenzzeit, was bei Echtzeitanwendungen, bei denen Entscheidungen in Sekundenbruchteilen getroffen werden müssen, von Bedeutung sein kann. Industrielle IoT-Geräte (IIoT) liefern datengesteuerte Abläufe, die wiederum die Anwendungsfälle für Edge-KI erweitern. Schnell wachsende Implementierungen – von tragbaren medizinischen Geräten bis hin zu Wearables und IIoT – treiben den Markt für KI am Netzwerkrand an.
Da die Technologie immer beliebter wird, steigt auch die Nachfrage nach Komponenten, die für die Datenverarbeitung in eingebetteten Systemen geeignet sind.
Mikrocontroller oder Mikroprozessor?
Die meisten heute in industriellen und anderen Embedded-Systemen eingesetzten IoT-Geräte sind stromsparend und verfügen nur über sehr wenig Speicher. Die Verarbeitungsleistung stammt aus kleinen eingebetteten Mikrocontrollern (MCUs). Diese MCUs haben eine stromsparende Architektur, die es ermöglicht, dass die eingebetteten Systeme wesentlich kostengünstiger sind als solche mit Mikroprozessoren.
Bis zum Aufkommen von KI-Anwendungen im Edge haben MCUs die Anforderungen an die Verarbeitungsleistung von IoT-Geräten gut erfüllt. Herkömmliche MCUs können jedoch typischerweise nicht die Rechenleistung bereitstellen, die für komplexere maschinelle Lernalgorithmen benötigt wird, die das Markenzeichen von Edge-KI-Anwendungen sind. Solche Algorithmen laufen typischerweise auf Grafik- (GPUs) und Mikroprozessoren (MPUs), die über mehr Rechenleistung verfügen. Die Verwendung dieser Komponenten bringt jedoch auch Nachteile mit sich, unter anderem den Stromverbrauch. Mikroprozessoren oder GPUs sind nicht die energieeffizientesten Komponenten. Daher ist ein Edge-Computing auf Basis eines Mikroprozessors möglicherweise nicht für alle Edge-KI-Anwendungen die beste Lösung, und die Anbieter setzen stattdessen auf MCUs.
MCUs sind preiswerter als GPUs und Mikroprozessoren. Um Edge-KI zu skalieren, besteht ein wachsender Bedarf, die Vorteile von MCUs – also geringe Kosten und niedrige Leistungsaufnahme – zu nutzen und gleichzeitig eine höhere Rechenleistung zur Verfügung zu haben.
Und tatsächlich sind im Laufe der Jahre einige Faktoren zusammengekommen, die die Fähigkeiten von MCUs im Edge verbessern.
Was begünstigt den Einsatz von MCUs im Edge?
Während bisher allgemein angenommen wurde, dass herkömmliche MCUs für eine KI-bezogene Datenverarbeitung zu leistungsschwach sind, führen sowohl Verbesserungen im Design der MCU als auch Entwicklungen im gesamten Technologie-Ökosystem dazu, dass sie zunehmend in Edge-KI-Anwendungsfällen eingesetzt werden.
Zu diesen Faktoren gehören:
- Die Integration von KI-Beschleunigern in MCUs: Wenn der Prozessorkern der MCU allein die Anforderungen des Edge-Computing nicht erfüllen kann, steigert sich die Leistung durch die Kombination mit einem integrierten KI/ML-Beschleuniger, wie zum Beispiel einer neuronalen Verarbeitungseinheit (NPU) oder einem digitalen Signalprozessor (DSP). Ein Beispiel dafür sind die MCUs der STM32N6-Serie (Abbildung 1) von STMicroelectronics. Sie basieren auf dem Cortex-M55, der mit 800 MHz läuft. Die Arm-Helium-Vektorverarbeitungstechnologie bringt DSP-Verarbeitungsfähigkeiten auf einen Standardmikrocontroller. Der STM32N6 ist die erste STM32-MCU, in die der Neural-ART-Accelerator von ST integriert ist, eine selbst entwickelte NPU, die für leistungsstarke KI-Anwendungen entwickelt wurde.
- Optimierte KI-Modelle für Edge-Anwendungen: Leistungsintensive KI- und maschinelle Lernalgorithmen können nicht einfach auf MCUs übertragen werden. Sie müssen auf die begrenzten Rechenressourcen angepasst werden. Kompakte KI-Architekturen wie TinyML und MobileNet bieten genau das in Verbindung mit Optimierungstechniken, sodass auch MCUs im Edge KI-Algorithmen ausführen können.
STMicroelectronics hat STM32Cube.AI auf den Markt gebracht, eine Software-Lösung, die ein neuronales Netz in optimierten C-Code für STM32-MCUs umwandelt. Die Nutzung dieser Software in Verbindung mit dem STM32N6 hilft, dass die für Edge-KI-Anwendungen erforderliche Performance trotz begrenzter Rechenleistung und Speicherkapazität sichergestellt ist.
- Das Entstehen von KI-Ökosystemen: Eine Hardware-Komponente mit KI-Fähigkeiten allein reicht nicht aus. Die Ausführung von KI-Algorithmen im Edge erfordert entwicklerfreundliche Ökosysteme, die den Einsatz erleichtern. Spezielle Tools wie TensorFlow Lite für Mikrocontroller bieten hierfür passende Lösungen. Open-Source-Communities wie Hugging Face und andere Plattformen bieten vortrainierte Modelle und Code-Bibliotheken, die Entwickler testen und für ihre spezifischen Anwendungsfälle anpassen können. Solche KI-Ökosysteme senken die Einstiegshürden und ermöglichen auch Unternehmen mit knappen Ressourcen den Zugang zur Technologie, ohne eigene KI-Modelle von Grund auf entwickeln zu müssen.
Mit der ST Edge AI Suite stellt STMicroelectronics ein speziell auf Edge-AI-Lösungen zugeschnittenes Hard- und Software-Ökosystem bereit. Die Suite bündelt viele der KI-Bibliotheken und -Tools von ST, um Entwicklern die Suche nach Modellen, Datenquellen, Tools und Compilern zu erleichtern, die Code für Mikrocontroller generieren können.
Vortrainierte Modelle aus einem Model-Zoo dienen als Ausgangspunkt für Entwickler. Diese Modelle verwenden das ONNX-Format (Open Neural Network Exchange), einen offenen Standard zur Darstellung von Modellen für maschinelles Lernen in Bereichen wie computerbasierter Bildverarbeitung (CV), Verarbeitung natürlicher Sprache (NLP), generativer KI (GenAI) und Graph Machine Learning.
- Standards und Interoperabilität: Während KI-Ökosysteme Unternehmen dabei helfen, KI-Anwendungsfälle zu testen, ermöglichen offene und standardisierte Modellformate die nahtlose Integration über verschiedene Hardware-Systeme hinweg. Die Kompatibilität zwischen Software-Tools und MCUs reduziert Hürden bei der Implementierung von Edge-KI.
- Sicherheit im Edge: Die MCUs eliminieren entweder ganz oder verringern zumindest die Notwendigkeit einer cloudbasierten Datenverarbeitung. Die Hardware-Komponenten bieten aber auch zusätzliche Sicherheitsebenen. Sie verfügen typischerweise über Funktionen wie Hardware-Verschlüsselung und Secure Boot, die sowohl Daten als auch KI-Modelle vor böswilligen Zugriffen schützen.
Bemerkenswerte Merkmale der STM32N6-Hardware
Die STM32N6-Serie bietet leistungsstarke MCUs mit integrierter NPU und wird zusammen mit einem Kameramodul-Bundle sowie einem Discovery-Kit angeboten. Die Serie basiert auf einer typischen ARM-Cortex-M-Architektur und bietet mehrere Schlüsselfunktionen, die sie besonders für KI-Anwendungen im Edge prädestinieren. Dazu zählen:
- Neural-ART-Accelerator, der Modelle neuronaler Netze ausführen kann. Er ist für rechenintensive KI-Algorithmen optimiert, mit 1 GHz getaktet und liefert 600 GOPS bei einer durchschnittlichen Energieeffizienz von 3 TOPS/W.
- Unterstützung der »Helium«-MPVE (M-Profile Vector Extension), eine spezielle Erweiterung des Befehlssatzes, die leistungsfähige Neural-Network- und DSP-Funktionen ermöglicht. Diese Befehle sind auf 32-Bit- und 16-Bit-Gleitkommazahlen ausgelegt. Das FP16-Format reduziert den Rechenaufwand, den Speicherbedarf, die Modelle laufen schneller und benötigen weniger Energie – bei vielen ML-Anwendungen ohne nennenswerte Einbußen bei der Genauigkeit.
- ST Edge AI Suite, eine Sammlung kostenloser Software-Tools, Anwendungsfälle und Dokumentationen, mit der Entwickler aller Erfahrungsstufen KI-Anwendungen für das Edge entwickeln können. Die Suite umfasst auch Tools wie die ST Edge AI Developer Cloud, die spezielle neuronale Netze im STM32-Model-Zoo, eine »Board Farm« für reale Benchmarks und mehr bietet.
- Fast 300 konfigurierbare MAC-Einheiten (Multiplikations-Akkumulationseinheiten) und zwei 64-Bit-AXI-Speicherbusse für einen Durchsatz von 600 GOPS.
- Integrierter Bildsignalprozessor (ISP), der direkt mit mehreren 5-Megapixel-Kameras verbunden werden kann. Bei der Entwicklung von Systemen mit Kameras müssen die Entwickler den ISP auf den jeweiligen CMOS-Sensor und das Objektiv abstimmen. Dieses Tuning erfordert typischerweise spezielles Fachwissen oder die Hilfe Dritter. ST stellt Entwicklern zu diesem Zweck eine spezielle Desktop-Software namens iQTune zur Verfügung. Diese Software, die auf einer Linux-Workstation läuft, kommuniziert mit dem eingebetteten Code auf dem STM32 und analysiert die Farbgenauigkeit, die Bildqualität und die Statistiken und konfiguriert die Register des ISP entsprechend automatisch.
- Unterstützung für MIPI CSI-2, die gängigste Kamera-Schnittstelle für mobile Anwendungen, ohne dass ein externer ISP erforderlich ist, der mit dieser speziellen seriellen Kamera-Schnittstelle kompatibel ist.
- Die vielen zusätzlichen Funktionen auf einem einzigen Baustein bedeuten, dass Entwickler ein neuronales Netzwerk parallel zu einer grafischen Benutzeroberfläche auf derselben MCU ausführen können. Zusätzliche MCUs sind nicht erforderlich.
- Robuste Sicherheit, u. a. mit Zertifizierungen gemäß Target SESIP Level 3 und PSA Level 3.
Fazit
Früher benötigten Machine-Learning-Anwendungen im Edge leistungsstarke Mikroprozessoren in Embedded-Systemen, um komplexe Algorithmen auszuführen. Dank leistungsfähiger MCUs wie die Controller der STM32N6-Serie von STMicroelectronics können Unternehmen jetzt KI im Edge breiter verfügbar machen. STMicroelectronics bietet dafür ein komplettes Ökosystem für die KI-Implementierung im Edge, einschließlich Software- und Hardware-Komponenten für die Inferenzierung.
Jobangebote+ passend zum Thema
Lesen Sie mehr zum Thema
