Smarte Kombination für smartes Farming
Mehr Speed und Präzision mit FPGA plus GPU
Geschwindigkeit oder Präzision? Smart Farming benötigt beides. Hybride Elektroniken kombinieren FPGA- und GPU-Technologie und ermöglichen damit die Verarbeitung leistungsfähiger KI-Modelle in Echtzeit und direkt in einem Embedded-Device.
Embedded-Systeme sind leistungsfähig, robust und energieeffizient und eignen sich damit für das Monitoring von Pflanzenbeständen und Agrarflächen, die Automatisierung von Belüftungs- und Bewässerungsanlagen oder für die Qualitätskontrolle in Landwirtschaft und Lebensmittelindustrie. Neben stationären Anlagen setzt Smart Farming immer mehr auf mobile Roboter und autonome Agrarmaschinen, die eigenständig navigieren und fahren und damit eine Steigerung von Effizienz, Produktivität und Nachhaltigkeit ermöglichen. Sie erfassen den Zustand von Pflanzen und Böden mit Kameras und anderen Sensoren; KI-Modelle und Deep-Learning-Algorithmen steuern auf Basis der Daten den Einsatz von Düngemitteln und Pestiziden, in Echtzeit und mit präziser, kleinflächiger Anwendung statt flächendeckender Applikation.
Hybrider Ansatz ermöglicht hohe Geschwindigkeit und Detailgenauigkeit
Die Herausforderung dabei sind die hohen Anforderungen an die benötigte Rechenleistung, besonders für die Echtzeit-Verarbeitung. Das führt in der Praxis häufig zu einem Kompromiss aus Geschwindigkeit und Detailgenauigkeit für die Datenverarbeitung. Diesen Kompromiss möchte hema electronic überwinden und arbeitet deshalb an einem hybriden Ansatz für Embedded-Vision-Elektroniken, der FPGA- und GPU-Technologien kombiniert (Field-Programmable Gate Array / Graphics Processing Unit). Das Ziel ist eine hohe Verarbeitungsgeschwindigkeit auch bei komplexen Bildanalysen und Mustererkennungen, mit gleichzeitig effizienter Verarbeitung in einem Embedded-System. Dazu werden System-on-Modules auf FPGA-Basis für die Vorverarbeitung und Filterung der Bilddaten eingesetzt, kombiniert mit GPUs für die präzise KI-gestützte Analyse.
Stärken von FPGA und GPU ausnutzen
Durch die Integration beider Technologien lässt sich die Verarbeitung von KI-Modellen optimieren, indem die Stärken von FPGAs und GPUs ausgenutzt und miteinander verbunden werden. Ein Beispiel: Für die Sortierung der Ernte in einem Mähdrescher soll die Ernte mit Kameras erfasst und entsprechend ihrer Qualität klassifiziert und sortiert werden. Übernimmt eine GPU diese Aufgabe, erfordert das eine extrem hohe Rechenleistung, um das gesamte Bildmaterial auszuwerten. Anders in einem hybriden System: Hier kann ein FPGA-Chip, der für die parallele Verarbeitung großer Datenmengen prädestiniert ist, die Vorverarbeitungen mit minimaler Latenz übernehmen. Er arbeitet mit einem kleinen KI-Modell, das lediglich solche Bildbereiche identifiziert, in denen Körner dargestellt sind. Diese Bildbereiche – eine deutlich geringere Datenmenge also – werden dann an die GPU übergeben, die eine hochauflösende Objektklassifizierung durchführt. Im Zusammenspiel beider Verfahren, die hier jeweils entsprechend ihrer Stärken genutzt werden, erfolgt die Sortierung der Ernte mit hoher Genauigkeit und dennoch in Echtzeit – also ohne Kompromiss für Geschwindigkeit oder Detailgrad.
Dual-KI-Inferenzmodul steuert die effiziente Zusammenarbeit
Auch andere, vor allem mobile Anwendungen profitieren von der schnellen Vorverarbeitung in Verbindung mit hochauflösender Analyse. Wichtig dabei ist das Zusammenspiel der verschiedenen Recheneinheiten. hema electronic setzt für das FPGA-Modul auf stark quantisierte und beschnittene neuronale Netze mit geringer Latenz sowie auf komplexe KI-Modelle zur Verarbeitung in der GPU. Für die Geschwindigkeit entscheidend sind darüber hinaus aber auch das optimierte Routing der Videosignale und die Partitionierung zwischen FPGA- und GPU-Modul. Dafür kommt ein neuartiges hybrides Modell zum Einsatz, das die Arbeitsteilung steuert, die Berechnung auf die jeweiligen Hardwarekomponenten verteilt und die Ergebnisse im Nachgang zusammenführt. Das Resultat ist eine optimale Ausnutzung der zur Verfügung stehenden Ressourcen.
Hohe Rechen-Performance ermöglicht autarke Anwendungen
Tests haben gezeigt, dass die Kombination aus der vorgelagerten, niedrigaufgelösten Objekterkennung mit geringstmöglicher Latenz und der darauf beruhenden hochauflösenden Objektklassifizierung eine kürzere Verarbeitungszeit im Vergleich zu rein GPU-basierten Systemen erreicht. Diese Leistungswerte ermöglichen völlig neuartige, autark arbeitende smarte Systeme für die Landwirtschaft und andere Anwendungsbereiche. Sie erweitern den Einsatz von Embedded-Systemen besonders für Edge-KI-Anwendungen mit hohen Anforderungen an Geschwindigkeit und Genauigkeit der Datenverarbeitung.
Modulares Design für individuelle Projektanforderungen
Getreidekörner werden mit einer Kamera erfasst. Ein FPGA erkennt zunächst Bildbereiche, in denen Körner zu sehen sind. Lediglich diese Bereiche werden zur Auswertung an die GPU weitergeleitet. Dieses Vorgehen ermöglicht die Verarbeitung in Echtzeit – ohne Kompromisse bei der Detailgenauigkeit.
Smart-Farming-Projekte – ebenso wie ähnliche Projekte in der Industrie, im Sonderfahrzeugbau oder in der Sicherheits- und Verteidigungstechnik – arbeiten häufig mit dem dargestellten Ablauf aus Objekterkennung und Objektanalyse, auf Basis von Kamera- und Sensordaten. Dennoch unterscheiden sich die Ansprüche an Rechenleistung, Schnittstellen und Format der Elektroniken. hema electronic ist seit vielen Jahren auf solche Embedded-Vision-Projekte spezialisiert und hat auf Basis zahlreicher Erfahrungen aus Kundenprojekten die modulare »hema Embedded Vision Plattform« entwickelt. Dabei werden individuelle Mainboards auf Basis modularer Bausteine für Funktionalitäten und Interfaces zusammengestellt. Die Layout-Blöcke und Schaltungen lassen sich durch neue oder eigene Schaltungsteile ergänzen. Hinzu kommen Building-Blocks für die Software, die ebenfalls modular aufgebaut ist und je nach Projekt und Anforderungen gewählt und erweitert werden kann. Der modulare Aufbau und der Baukasten mit bewährten und getesteten Building-Blocks für Hardware und Software spart Entwicklungszeit und Kosten und minimiert das Risiko von Design-Fehlern.
System on Modules mit FPGA und GPU integrieren
Teil des modularen Ansatzes sind System-on-Modules, die in die Embedded-Vision-Systeme integriert werden und die benötigte Rechenleistung zur Verfügung stellen. Je nach Anwendung setzt hema electronic dabei auf eines oder mehrere FPGA-Module, beispielsweise aus der Serie »Zynq Ultra-Scale Plus« von AMD, sowie im hier beschriebenen Fall auf die Kombination von FPGA-SoMs und GPU-Modulen. Diese freie Kombinierbarkeit ermöglicht eine präzise Anpassung an die benötigte Rechenleistung und Funktionalität des individuellen Projekts. Außerdem lassen sich durch den modularen Ansatz einfache Upgrades im Lebenszyklus sowie Produktvarianten mit unterschiedlicher Ausstattung realisieren.
Embedded-Smart-Vision: Vom Konzept zum Serienerfolg
Die »hema Embedded Vision Plattform« hat sich in der Praxis bewährt – mit einem und mehreren System-on-Modules, in verschiedenen Branchen und für Anwendungen rund um die Signalverarbeitung für Multikamera- und Multisensor-Systeme. Die Kombination von FPGA- und GPU-Modulen ist die neueste Erweiterung der Plattform und derzeit im Fokus von Entwicklung, Forschung und umfangreichen Tests. Das Ziel ist die weitere Optimierung der Signalverarbeitung und der effizienten Datenverteilung zwischen den Modulen – besonders auch im Hinblick auf möglichst geringen Bedarf an Rechenleistung, Speicher und Energie für den Einsatz mit Embedded-Systemen. Parallel entwickelt das Unternehmen Elektroniken für mögliche Use-Cases sowie Kundenprojekte auf Basis der Kombination von FPGAs und GPUs. Die aktuellen Erfolge zeigen bereits, dass damit ein Optimum aus geringer Latenz – sprich hoher Geschwindigkeit – und hoher Auflösung für die Objekterkennung und -analyse mit KI und klassischen Algorithmen erreicht werden kann. Verbunden mit den Vorteilen des modularen Designs legt das die Grundlage für die effiziente Entwicklung leistungsstarker Elektroniken – für Smart Farming und viele weitere anspruchsvolle Embedded-Vision-Anwendungen.
Der Autor
Dr. Tony Albrecht ist Leiter der Hardware- und Softwareentwicklung bei hema electronic.
Der Physiker mit einem Doktortitel in Elektrotechnik verfügt über mehr als 25 Jahre Erfahrung in der Leitung von Forschungs- und Entwicklungsteams für Kamerasysteme und Embedded-Vision-Lösungen. In seiner derzeitigen Funktion ist er für die Weiterentwicklung von Kundenprojekten und der »hema Embedded Vision Plattform« sowie für die Entwicklung neuer intelligenter Bildverarbeitungslösungen für Automatisierungs- und Fahrzeugsysteme verantwortlich.