Für Embedded-Vision-Anwendungen mit KI-Inferenz eignen sich Systemarchitekturen, die FPGA und GPU kombinieren. hema electronic hat eine solche Architektur umgesetzt und entwickelt sie derzeit weiter, um sie skalieren und flexibel an unterschiedliche militärische Anforderungen anpassen zu können.
Die technologische Leistungsfähigkeit moderner Verteidigungssysteme hängt zunehmend von der Effizienz ihrer Sensorik, Datenverarbeitung und Entscheidungslogik ab. Besonders für autonome Plattformen, Aufklärungssysteme und vernetzte Gefechtsfeldlösungen ist die Fähigkeit zur Echtzeitanalyse großer Datenmengen entscheidend. hema electronic entwickelt derzeit eine hybride Embedded-Vision-Plattform, die Field Programmable Gate Arrays (FPGAs) und Graphical Processing Units (GPUs) kombiniert. Ziel ist ein hochleistungsfähiges Elektroniksystem, das klassische Algorithmik und künstliche Intelligenz (KI) in einem energieeffizienten, robusten und modularen Design vereint – speziell für sicherheitskritische Anwendungen in der Verteidigungstechnik.
Moderne Streitkräfte setzen zunehmend auf vernetzte Gefechtsfahrzeuge – vor allem auf rad- und kettenbasierte Plattformen für Aufklärung, Pionierunterstützung und Gefechtsfeldlogistik. Diese Systeme agieren oft in unstrukturierten, komplexen Umgebungen – ohne permanente Funkanbindung oder Rückkopplung zu zentralen Rechenzentren. Entsprechend müssen Bildverarbeitung, Sensorfusion und Lagebeurteilung direkt »an der Edge«, also in der Plattform selbst, erfolgen. Dabei sind nicht nur hohe Rechenleistungen erforderlich, sondern auch absolute Verlässlichkeit, Ausfallsicherheit und möglichst kurze Latenzzeiten – denn im Ernstfall entscheiden Millisekunden über das Leben von Soldaten, die Erkennung einer Bedrohung oder die Vermeidung von Kollateralschäden.
Zur Bewältigung dieser Anforderungen vereint hema zwei komplementäre Rechenarchitekturen: FPGAs und GPUs. FPGAs zeichnen sich durch ihre Flexibilität und extrem niedrige Latenz aus. Sie lassen sich gezielt auf bestimmte Signalverarbeitungsaufgaben hin konfigurieren und ermöglichen eine deterministische Echtzeitverarbeitung. Dadurch eignen sie sich hervorragend zur Vorverarbeitung hochfrequenter Rohdatenströme – etwa aus optischen Kameras, Infrarot-Sensoren und LIDAR-Systemen (Light Detection and Ranging).
Im Gegensatz dazu bieten GPUs mit ihrer Fähigkeit zur parallelen Verarbeitung komplexer Algorithmen eine ideale Umgebung für die KI-Inferenz. Sie analysieren die vom FPGA vorbereiteten Datenströme, identifizieren Muster, klassifizieren Objekte oder erkennen Personen in Echtzeit – auch unter schwierigen Sicht- und Störbedingungen.
Die Kombination beider Komponenten schafft ein System, das gleichzeitig schnell, präzise und intelligent arbeitet. Während der FPGA für eine stabile, zuverlässige Grundverarbeitung sorgt, kann die GPU adaptive, lernende Verfahren zur Ziel- oder Gefahrenerkennung anwenden. So entsteht eine Architektur, die sowohl klassischen algorithmischen Verfahren als auch modernen KI-Methoden gerecht wird.
Das von hema entwickelte System beruht auf einer modularen Embedded-Vision-Plattform, die verschiedene System-on-Modules (SoMs) integriert. Dabei wird klar zwischen FPGA- und GPU-Modulen getrennt. Die FPGA-Module übernehmen zentrale Aufgaben der Sensordatenerfassung, Vorverarbeitung und Schnittstellensteuerung. GPU-Module sind für KI-gestützte Bildverarbeitung, Szenenanalyse und Entscheidungsvorschläge zuständig. Beide Module kommunizieren über definierte Schnittstellen und nutzen ein internes Signalverarbeitungssystem, das auf besonders geringe Verzögerungen und hohe Datenintegrität ausgelegt ist.
Zusätzliche Funktionseinheiten im System übernehmen Aufgaben wie die effiziente Partitionierung von KI-Modellen, die Überwachung der Hardware-/Software-Integration oder die Konvertierung und Formatierung von Sensordaten. So lässt sich sicherstellen, dass selbst unter wechselnden Einsatzbedingungen alle Komponenten nahtlos zusammenarbeiten und flexibel an neue Anforderungen angepasst werden können.
Für militärische Anwendungen bringt diese Hybridarchitektur zahlreiche Vorteile mit sich. Erstens ermöglicht sie eine sehr kurze Latenzzeit, weil bereits im FPGA die ersten Verarbeitungsschritte mit hoher Geschwindigkeit stattfinden. Zweitens profitieren KI-basierte Analysefunktionen in der GPU von der reduzierten Datenlast, was eine erhebliche Beschleunigung der Erkennung und Klassifikation ermöglicht. Drittens ermöglicht das modulare Design eine schnelle Adaption an neue Plattformen oder Anwendungs-Anforderungen – ohne dass grundlegende Architekturanpassungen notwendig wären.
Hinzu kommt die hohe Energieeffizienz der FPGAs, die besonders bei mobilen, batteriebetriebenen oder stationär energieversorgten Systemen ein wesentlicher Vorteil ist. Auch bei begrenzten thermischen Rahmenbedingungen – etwa in geschlossenen Fahrzeugen oder UAVs – spielt diese Eigenschaft eine wichtige Rolle. Die robuste Bauweise der Komponenten sorgt darüber hinaus für hohe Ausfallsicherheit auch unter extremen Umweltbedingungen wie Vibration, Hitze, Feuchtigkeit und elektromagnetischer Störung.
Das hybride System eignet sich für eine Vielzahl militärischer Anwendungen. In unbemannten Fahrzeugen kann es die Umgebung überwachen, Hindernisse erkennen und autonom navigieren. In Aufklärungssystemen ermöglicht es die Echtzeitanalyse von Video- und Sensordaten für die Erstellung taktischer Lagebilder. In mobilen Systemen kann es Gefahrenerkennung und Zielklassifikation direkt vor Ort übernehmen, ohne auf zentrale Serverstrukturen angewiesen zu sein. Auch stationäre Schutzsysteme, etwa zur Perimeter-Überwachung von Feldlagern oder sensiblen Infrastrukturen, profitieren von der schnellen, lokal verfügbaren Intelligenz.
Das Projekt befindet sich aktuell in einer Phase gezielter Weiterentwicklung – auf Basis eines Technologiestands, der sich bereits in realen Anwendungen bewährt hat. hema electronic verfügt über mehr als 45 Jahre Erfahrung in der Entwicklung und Serienfertigung leistungsfähiger Embedded-Vision-Systeme für sicherheitskritische Anwendungen. Bereits heute befinden sich Systeme auf FPGA-GPU-Basis im aktiven militärischen Einsatz, etwa in kettenbasierten Fahrzeugen zur Aufklärung und Unterstützung auf dem Gefechtsfeld. Ziel der laufenden Entwicklungsarbeiten ist es, diese bestehende Technologie weiter zu skalieren und noch flexibler an unterschiedliche militärische Anforderungen anzupassen – von ISR-Systemen über autonom agierende Unterstützungsfahrzeuge bis hin zu Plattformen mit besonders hohem Bedarf an Echtzeitdatenverarbeitung und Sensorfusion.
Die technologische Reife der hema-Plattform ist durch zahlreiche Serienprojekte mit komplexer Multisensorik und Mehrkamerasystemen belegt – und bildet die Grundlage für zukunftsfähige Embedded-Lösungen mit geringer Latenz und hoher Zuverlässigkeit. In Zukunft sollen KI-Modelle noch effizienter auf die jeweilige Hardware abgestimmt und direkt im Feld aktualisierbar gemacht werden. Auch die Integration weiterer Sensorarten sowie die Vorbereitung auf verteilte Systeme mit Edge-to-Edge-Kommunikation gehören zur Entwicklungs-Roadmap. Damit entwickelt sich das System zu einem zentralen Baustein für das Defence-AIoT (Artificial Intelligence of Things) – also dem vernetzten, intelligenten IoT für militärische Anwendungen.
Mit der Kombination aus FPGA und GPU entsteht eine neue Generation sicherheitskritischer Elektroniksysteme, die Echtzeitfähigkeit, Energieeffizienz und künstliche Intelligenz in einem einzigen Embedded-Vision-System vereint. Die modulare Architektur ermöglicht die flexible Integration in unterschiedlichste Plattformen der Verteidigungstechnik. Gleichzeitig bildet sie die Grundlage für zukunftsfähige, skalierbare Lösungen im Rahmen vernetzter Gefechtsführung und autonomer Operationsführung. hema electronic will mit dieser Entwicklung einen technologischen Vorsprung liefern – für sichere Entscheidungen im Einsatz, unter allen Bedingungen.