Optimierte Kombination von FPGA und GPU
Embedded Vision wird universell
KI ist ein Katalysator für technischen Fortschritt. hema electronic hat sich des Trends angenommen – und forscht an einer hybriden Plattform für Embedded-Vision-Anwendungen mit klassischer Algorithmik und KI.
Autonome Systeme, Roboter und die Kollaboration zwischen Mensch und Maschine stellen neue Anforderungen an Machine-Vision-Anwendungen. Sobald die Geräte sich autark auf dem Factory Floor bewegen, hängt die Sicherheit von Bedienpersonal oder Passanten von den integrierten Vision-Systemen und weiteren Sensoren ab. Die Elektroniken müssen deshalb in der Lage sein, Personen und Objekte mit hoher Präzision und Zuverlässigkeit zu erkennen und zu verfolgen. Künstliche Intelligenz hat sich hier als ein probates Mittel herausgestellt, das die Genauigkeit und Effizienz der Erkennung von Objekten und Personen verbessern kann – mit wiederum eigenen Anforderungen an die Elektroniken zur Datenverarbeitung.
Vorteile von FPGA und GPU vereint
Für solche Elektroniken kommen bislang Systeme auf Basis von CPUs (Central Processing Units), GPUs (Graphics Processing Units) und FPGAs (Field-Programmable Gate Arrays) zum Einsatz. CPUs zeichnen sich durch ihre freie Programmierbarkeit aus, während GPUs mit ihrer Fähigkeit zur parallelen Verarbeitung großer Datenmengen und komplexer Algorithmen besonders für das Training von KI-Modellen geeignet sind. Sie bieten auch bei der Inferenz – also der Anwendung trainierter Modelle mit neuen Daten – eine gute Leistung, stoßen bei sehr spezifischen Anforderungen und in Echtzeitanwendungen aber häufig an ihre Grenzen. Genau hier spielen FPGAs ihr Stärken aus: Sie lassen sich flexibel konfigurieren und für spezielle Aufgaben optimieren. Das ermöglicht eine schnellere Datenverarbeitung bei gleichzeitig höherer Energieeffizienz.
Jobangebote+ passend zum Thema
Forschungsprojekt für hybride Embedded-Vision-Systeme
Um die Vorteile der jeweiligen Architekturen sinnvoll zu nutzen, prüft und evaluiert hema electronic eine hybride Architektur für ein Embedded-Vision-System. Dabei sollen FPGAs für flexibel konfigurierbare Aufgaben zum Einsatz kommen, während eine GPU KI-Verarbeitungen übernimmt. Diese Kombination verspricht die Entwicklung energieeffizienter und kostengünstiger Lösungen, die Echtzeit-Datenverarbeitung, schnelle und präzise Entscheidungen sowie Zuverlässigkeit für den Einsatz in sicherheitskritischen Bereichen ermöglichen – unter Ausnutzung klassischer Algorithmen ebenso wie von künstlicher Intelligenz.
Herausforderung: Effiziente Partitionierung zwischen FPGA und GPU
Wesentlicher Bestandteil und Herausforderung bei der technischen Umsetzung des Systems ist die effiziente Partitionierung zwischen FPGA und GPU. Dafür prüft hema Methoden und Tools wie TensorFlow Lite für die Modellkonvertierung sowie herstellerspezifische Frameworks für die Implementierung. Als Anwendungsbeispiel für die Modellentwicklung dient ein Kamerasystem, das an selbstfahrenden Fahrzeugen in der Intralogistik installiert werden könnte und Personen, Hindernisse und Objekte erkennt. Zur Einhaltung der Echtzeit-Anforderungen und einer minimalen Latenzzeit wird der FPGA für die Verarbeitung der rohen Videosignaldaten optimiert. Die GPU übernimmt im Anschluss die komplexen Bildverarbeitungsaufgaben – dank der Vorverarbeitung im FPGA aber mit deutlich geringerer Datenmenge. Im Zusammenspiel soll sich so ein deutlicher Geschwindigkeitsvorteil ergeben.
Modulares Design reduziert Entwicklungszeit und Kosten
Hardware-seitig wird die hybride Architektur durch die modulare hema-Embedded-Vision-Plattform und mehrere System-on-Modules (SoMs) umgesetzt. Daraus ergeben sich zahlreiche Vorteile, auch im Hinblick auf spätere Kundenprojekte: Modulare Elektroniken für die Hauptplatine ermöglichen die schnelle und kostengünstige Entwicklung individueller Systeme. Schnittstellen und Funktionalitäten lassen sich dabei aus einem bestehenden Baukasten von Layout-Blöcken und Schaltungen konfigurieren und durch eigene oder neue Schaltungsteile ergänzen. Die Building-Blöcke sind getestet und bewährt, was die Entwicklungszeit verkürzt und Design-Risiken verringert.
Mehrere System-on-Modules sinnvoll kombiniert
Für die Rechenleistung des Systems sorgen System-on-Modules. Dabei trennt hema zwischen FPGA-Modulen und GPU-Modulen: Das FPGA-Modul bildet das Herzstück für die Vorverarbeitung der Signaldaten in Echtzeit sowie für das Sensormanagement; das separate GPU-Modul ist für die KI-basierte Erkennung und Analyse von Personen und Objekten zuständig. Die Kombination jeweils separater SoMs mit FPGA bzw. GPU ermöglicht eine präzise Skalierung der jeweils benötigten Rechenleistung sowie ein einfaches Upgrade oder Produktvarianten im Lebenszyklus der Endanwendungen.
Optimierte Signalverarbeitung innerhalb des Systems
Für die effiziente Aufteilung der Datenströme und die nahtlose Zusammenarbeit aller Komponenten der Elektronik werden weitere Funktionseinheiten integriert, die spezielle Funktionen und Aufgaben übernehmen: Eine Videosignal-Verarbeitungseinheit stellt sicher, dass alle Sensordaten innerhalb des Systems optimal übertragen werden und den jeweiligen Prozessen im adäquaten Format und passender Qualität zur Verfügung stehen. Diese Einheit wird durch FPGA und GPU unterstützt. Eine Partitionierungseinheit für das KI-Modell übernimmt die Verteilung der KI-Modelle auf die jeweiligen Recheneinheiten und sorgt so für eine gute Ausnutzung der zur Verfügung stehenden Ressourcen. Dieses Systemintegrationsmodul überwacht kontinuierlich die korrekte Integration von Hardware- und Software-Architektur und die Zusammenführung aller Komponenten.
Roadmap und Entwicklungsschritte
Derzeit ist das Projekt in der Konzeptionsphase, greift dabei aber bereits auf umfassende Erfahrungen von hema zurück. Das Unternehmen hat bereits zahlreiche Systeme entwickelt, die mehrere System-on-Modules für die optimierte Signaldatenverarbeitung in Multikamera- und Multisensor-Systemen kombinieren. Sie kommen in professionellen Serienprodukten zum Einsatz, unter anderem in der Defense-Branche, wo hohe Ansprüche an Zuverlässigkeit und Latenz gestellt werden.
Der Fokus der Aktivitäten liegt derzeit auf der Entwicklung eines Hardware-Konzepts, bei dem FPGA-Module und GPU-Module integriert sind, sowie auf der dafür notwendigen Konfiguration von Schnittstellen, auf der Optimierung der internen Signalverarbeitung und auf der effizienten Datenverteilung. Parallel wird die nötige Software entwickelt, besonders auch im Hinblick auf die Optimierung von Speicherbedarf und Rechenleistung für den Einsatz in einem Embedded-System.
Systemdesign auf andere Branchen übertragbar
Das Projekt soll zeigen, dass eine Kombination von FPGA- und GPU-basierten Recheneinheiten in einem Elektronikdesign die Effizienz der Datenverarbeitung steigert und eine sinnvolle Nutzung der jeweiligen Vorteile ermöglicht. Gleichzeitig zeichnen sich solche Embedded-Vision-Systeme durch Energieeffizienz und kompaktes Design aus. In Verbindung mit modularem Design von Hardware und Software sowie umfassender Skalierbarkeit durch die Integration verschiedener System-on-Modules mit FPGAs und GPUs ergeben sich darüber hinaus kürzere Entwicklungszeiten bis zur Serienreife sowie Kostenvorteile für den gesamten Lebenszyklus der Projekte. Während die Erkennung von Personen und Objekten einerseits ein häufiger Use-Case für solche Elektroniken ist, soll die Technologie generell auch auf andere Anwendungen übertragbar sein, in denen Echtzeit-Anforderungen, geringe Latenz und der Einsatz von KI-Modellen möglich und gefragt sind.
Der Autor:
Dr. Tony Albrecht ist Leiter Entwicklung bei der hema electronic GmbH.
Lesen Sie mehr zum Thema
