Die Abstimmung kann schwierig werden
Embedded Vision – einfacher aus einer Hand
Neben der traditionellen, PC-basierten Bildverarbeitung haben sich seit einigen Jahren Embedded-Vision-Systeme als Alternative am Markt etabliert, die für bestimmte Anwendungsfälle effiziente Lösungen ermöglichen. Embedded Vision hält allerdings für Anwender auch besondere Herausforderungen bereit.
Auf den ersten Blick unterscheiden sich Embedded-Vision-Systeme nur geringfügig von der traditionellen Bildverarbeitung auf PC-Basis: Eine Kamera nimmt Bilder auf, die anschließend ausgewertet werden und so beispielsweise dabei helfen, einen hohen Qualitätsstandard bei der Herstellung von Produkten oder Bauteilen zu erreichen.
Die beiden Architekturen müssen jedoch bei genauem Hinsehen sehr unterschiedliche Anforderungen erfüllen: Vision-Systeme auf PC-Basis können auf fast unbegrenzte Rechenressourcen und Speicherkapazität zugreifen. Embedded-Vision-Systeme unterliegen hingegen diversen Einschränkungen wie einer meist sehr kleinen Baugröße oder einem möglichst geringen Stromverbrauch, um besonders bei Batterie-betriebenen Geräten eine ausreichende Einsatzdauer sicherzustellen.
Ein Unterscheidungsmerkmal, das in bestimmten Einsatzfällen entscheidend sein kann, ist dabei der Formfaktor: PC-Systeme sind prinzipbedingt größer, leistungsfähiger, aber auch energieintensiver als Embedded-Systeme und eignen sich daher im Gegensatz zu diesen meist nicht für Anwendungen, in denen nur wenig Platz für das gesamte Vision-System zur Verfügung steht. Weil Embedded-Vision-Systeme oft für ganz bestimmte Aufgaben entwickelt werden, ist mit dieser Technologie eine optimierte Auslegung der Ressourcen möglich, die eine kleine, energieeffiziente Bauform zulässt.
Ein weiterer Unterschied zwischen beiden Konzepten ist häufig der Ort der Verarbeitung: Systeme auf PC-Basis berechnen Ergebnisse nicht direkt an der Stelle, an der die Bilder aufgenommen werden, sondern übertragen die Bilddaten zunächst an einen PC oder Server, wo dann die Auswertung erfolgt. Bei Embedded-Vision-Systemen läuft der Verarbeitungsschritt hingegen meist »on the Edge«, also direkt im Endgerät. Diese lokale Verarbeitung erfordert somit kein Daten-Streaming im Netz und führt dadurch zu kürzeren Latenz- und Reaktionszeiten im Vergleich zur PC-basierten Bildverarbeitung. Zudem weisen Embedded-Lösungen meist eine höhere Sicherheit und Zuverlässigkeit auf, weil keine Bilddaten über ein Netzwerk übertragen werden müssen.
Generell kann man sagen, dass sich Embedded-Prozessoren und -Systeme in den vergangenen Jahren stetig weiterentwickelt haben, wodurch sich der Abstand zu PC-basierten Systemen bezüglich Rechenleistung und Funktionalität verringert hat.
Prädestinierte Einsatzszenarien
Embedded-Vision-Systeme eignen sich besonders für Aufgaben, in denen Bildverarbeitung direkt in Geräten oder Maschinen integriert werden soll.
Embedded-Vision-Systeme eignen sich besonders für Aufgaben, bei denen Bildverarbeitung direkt in Geräten oder Maschinen integriert werden soll und die ohne einen externen PC oder Server arbeiten sollen. Mittlerweile sind zahlreiche Anwendungen auf Basis von Embedded-Systemen weltweit erfolgreich im Einsatz. So finden sich derartige Systeme unter anderem:
- in der industriellen Automatisierung, etwa zur Qualitätskontrolle beim Prüfen von Werkstücken auf Fehler wie Risse, Maßhaltigkeit oder Farbe, zur Positions- und Lagekontrolle bei der Erkennung von Objekten für Robotik- und Pick-and-Place-Systeme oder zum Lesen von Barcodes, QR-Codes oder gedrucktem Text,
- in Automotive- und Fahrerassistenzsystemen, wo Embedded Vision Kameradaten ohne Verbindung zur Cloud direkt im Fahrzeug verarbeitet, unter anderem bei Spurhalteassistenten, Kollisionswarnsystemen oder für die Verkehrszeichenerkennung sowie beim autonomen Fahren, um die Objekterkennung und -verfolgung in Echtzeit zu gewährleisten,
- im Bereich Smart Home und Gebäudeautomation, etwa zur Gesichtserkennung für Zugangskontrollen, zur Bewegungserkennung für Sicherheitssysteme oder zur Anwesenheitserkennung für die automatische Steuerung von Licht, Heizung oder anderen Gebäudefunktionen,
- in der Medizin- und Labortechnik, wo Embedded-Vision-Systeme unter anderem zur Analyse von Probenbildern in der Mikroskopie oder zur Patientenüberwachung mittels Kameras eingesetzt werden,
- in der Landwirtschaft bei so genannten Smart-Farming-Prozessen, wo die Technologie zur Ernteüberwachung, Reifegradbestimmung oder Schädlingsdetektion in Drohnen oder Traktoren integriert ist,
- im Einzelhandel zur Kundenzählung, Warenregalüberwachung, Diebstahlerkennung oder in interaktiven Werbedisplays, die auf Gesichter oder Gesten reagieren,
- im Bereich Consumer Electronics / Wearables, wo Augmented- und Virtual-Reality-Brillen immer neue Anwendungen erschließen,
- im Verkehr und der öffentlichen Sicherheit zur Kennzeichenerkennung, für die Zählung von Fahrzeugen oder Personen oder auch zur Verhaltensanalyse an Bahnhöfen, Flughäfen und öffentlichen Plätzen sowie
- in fast unendlich vielen weiteren Anwendungen.
Die Embedded-Vision-Technologie hat in den vergangenen Jahren enorme Leistungssteigerungen vollzogen. Es ist deshalb davon auszugehen, dass die Vielfalt der möglichen und real umgesetzten Anwendungen weiterhin stark zunehmen wird.
Komponenten eines Embedded-Vision-Systems
Reine Platinenkameras mit einem oder mehreren Kameraköpfen bilden bei Embedded-Systemen meist das »Auge« eines Embedded-Vision-Systems und lassen sich je nach Aufgabe individuell anpassen (hier: Referenzdesign für Nvidia Jetson Orin NX mit GMLS2-IP67-Kameras und Deserializer-Board).
Ein Embedded-Vision-System besteht typischerweise aus mehreren Hard- und Software-Komponenten, die optimal aufeinander abgestimmt sein und zusammenarbeiten müssen, um Bilddaten zuverlässig aufzunehmen, effizient zu verarbeiten und auf deren Basis Entscheidungen zu treffen.
Das »Auge« eines Embedded-Vision-Systems bilden wie bei PC-basierten Systemen eine oder mehrere Kameras, wobei reine Platinenkameras bei Embedded-Systemen häufiger anzutreffen sind als herkömmliche Gehäusekameras. Wie in jedem Bildverarbeitungssystem ist die Auswahl einer an die vorliegende Aufgabe angepassten Optik sowie der optimalen Beleuchtung mitentscheidend für die Qualität der aufgenommenen Bilder und der nachfolgenden Bildauswertung.
Zur Verarbeitung der aufgenommenen Daten kommen in Embedded-Systemen Prozessoren zum Einsatz, die als System-on-Chip (SoC) oder auf einem System-on-Module (SoM) integriert werden. Grafikprozessoren wie ISPs (Image Signal Processor) oder GPUs (Graphics Processing Unit) sind dabei gängige Bestandteile, um Bildverarbeitungsfunktionen wie Debayering, Gamma-Korrektur, HDR, Komprimierung, Encoding oder weitere Aufgaben mit hoher Geschwindigkeit zu übernehmen.
Die Ansteuerung der integrierten Kameras und Peripheriegeräte erfolgt über ein zusätzliches Carrier-Board mit passenden I/Os, Kommunikationsschnittstellen, einer Stromversorgung und weiteren Elementen. Zur Verbindung aller Bestandteile müssen zudem die geeignete Schnittstelle sowie alle erforderlichen Kabel inklusive der passenden Steckverbinder ausgewählt und integriert werden. In der Embedded-Vision-Welt hat sich die ursprünglich für die Mobilfunkindustrie entwickelte MIPI-CSI-2-Schnittstelle als bevorzugtes Interface etabliert, weil sie eine schlanke Integration in kostengünstige SoC- oder SoM-Architekturen ermöglicht und die schnittstellenbedingten Kosten minimiert. Neben klassischen Platinenkameras kommen in der Industrie je nach Anwendung aber zunehmend auch andere Schnittstellen und Bauformen zum Einsatz, etwa GMSL2, GigE oder USB auf Embedded-Plattformen.
Last but not least: Software spielt eine entscheidende Rolle im Kontext von Embedded Vision. Sie ist der Schlüssel zur Leistungsfähigkeit und Funktionalität eines Embedded-Vision-Systems, ohne den die Hardware nicht die gewünschten Ergebnisse liefern könnte. Zu den wesentlichen Auswahlkriterien in diesem Bereich zählt unter anderem die Bereitstellung des passenden Betriebssystems (Embedded-Linux, z.B. Yocto-Layer), des Board Support Package (BSP) und des Kamera-Treibers sowie die Unterstützung von Bildverarbeitungs-Frameworks wie GStreamer, OpenCV, TensorFlow, DeepStream von Nvidia oder NNStreamer von NXP.
Fallstricke bei der Komponentenauswahl
The Imaging Source liefert eigene Hardwarelösungen mit passenden Linux-Distributionen, Kameratreibern und SDKs sowie Bilderfassungs-Demoanwendungen und Beispielcode aus.
Themen wie die erforderliche Rechenleistung des Gesamtsystems, die Verfügbarkeit einzelner Komponenten, die je nach Einsatzbereich über mehrere Jahre hinweg gegeben sein muss, aber natürlich auch die Kosten stellen entscheidende Randbedingungen für die Auswahl und Zusammenstellung von Embedded-Vision-Systemen dar. Für die Entwickler solcher Systeme ist es daher enorm wichtig, die Anforderungen der zu lösenden Aufgabe genau zu analysieren und die Definition des Bildverarbeitungssystems exakt an die Randbedingungen sowie das vorgesehene Budget anzupassen.
Die Auswahl an Komponenten, die zur Entwicklung von Embedded-Vision-Systemen erforderlich sind, hat in den vergangenen Jahren stark zugenommen. Allein bei den verfügbaren Platinenkameras stehen vielfältige Modelle mit unterschiedlichsten Auflösungen und Schnittstellen am Markt zur Verfügung. Auch bei den möglichen Prozessoren, der Software und allen weiteren Bestandteilen eines Embedded-Vision-Systems existieren heutzutage zahlreiche Anbieter mit einer enormen Vielfalt an technischen Ansätzen.
Das breite Angebot am Markt eröffnet zahlreiche Möglichkeiten, birgt auf dem Weg zum fertigen System jedoch häufig auch ein Problem: Viele Anbieter am Markt liefern einzelne Hardware-Komponenten für Embedded Vision, die auf den ersten Blick eine vielversprechende Option für die angedachte Lösungskombination darstellen. Die Integration dieser Komponenten verschiedener Hersteller zu einem Gesamtsystem wird jedoch oft aufwendiger und teurer als gedacht. Immer wieder scheitern Embedded-Vision-Projekte an Kompatibilitätsproblemen, endlosen Fehlersuchen oder der Überschreitung des Budgets, weil Kleinigkeiten im Vorfeld und bei der Komponentenauswahl nicht detailliert genug bedacht wurden. Durch die Zusammenarbeit mit einem Partner, der zum Thema Embedded Vision umfangreiche Erfahrungen vorweisen kann, lassen sich derartige Stolpersteine in jeder Projektphase vermeiden.
Embedded Vision leicht gemacht
The Imaging Source hat sich zum Ziel gesetzt, das Leben von Embedded-Vision-Entwicklern so einfach wie möglich zu machen. Aus diesem Grund liefert das Unternehmen eigene Hardwarelösungen mit passenden Linux-Distributionen, Kameratreibern, SDKs sowie Bilderfassungs-Demoanwendungen und Beispielcode aus. Deserializer-Boards für GMSL2 und FPD-Link III sowie leistungsfähige Lösungen wie unter anderem mit dem KI-Beschleuniger von DeepX auf dem unternehmenseigenen System-on-Module »Toradex Verdin i.MX 8M Plus« ergänzen das Angebot von The Imaging Source. Dadurch wird Embedded Vision auf das gleiche Niveau wie Computer Vision gehoben, und Anwender können sich auf ihr eigenes Know-how – die spezifische Systementwicklung – konzentrieren.
Im Gegensatz zu anderen klassischen Kameraherstellern, die meist nur Kameras und gegebenenfalls noch Open-Source-Treiber anbieten, geht The Imaging Source in Bezug auf Embedded Vision einige Schritte weiter und bietet komplette Referenzdesigns bzw. Lösungen aus einer Hand an. Dadurch profitieren nicht nur große OEMs, die meist über eigene Entwicklungsabteilungen und dediziertes Know-how verfügen, sondern auch kleinere Unternehmen von den Möglichkeiten und Vorteilen von Embedded Vision.
The Imaging Source kooperiert mit verschiedenen Technologie-Partnern, um seinen Kunden komplette Entwicklungskits inklusive Hardware (Kameras, SoC, Carrier-Boards u.a.) und Software (Embedded-Linux, BSP, Treiber, SDK etc.) anzubieten, und deckt dabei sowohl den Bereich Prototyping als auch die spätere Massenproduktion ab. In besonderen Fällen können Anwender zudem auf weitreichende Entwicklungsleistungen zugreifen, um individuelle und innovative OEM-Lösungen zu realisieren. Mit diesem Angebot und dem Ansatz »alles für Embedded Vision aus einer Hand« anstatt der mühsamen Zusammenstellung einzelner »Puzzleteile« mehrerer Anbieter reduziert The Imaging Source das Risiko für Anwender und vereinfacht die schnelle Realisierung leistungsfähiger, auf die jeweilige Aufgabe zugeschnittener Embedded-Vision-Lösungen.
The Imaging Source: Von Industriekameras bis Embedded Vision
Momchil Binev ist Senior Product Manager bei der The Imaging Source Europe GmbH.
Seit über 35 Jahren beschäftigt sich The Imaging Source intensiv mit dem Thema Bildverarbeitung und hat sich in dieser Zeit als innovativer Kamerahersteller am Markt etabliert. Das Unternehmens-Portfolio umfasst sowohl Industrie- als auch Embedded-Vision-Kameras in zahlreichen Facetten als reine Platinen- oder Gehäuse-Kameras mit unterschiedlichen Auflösungen von VGA bis 42 Megapixel und allen gängigen Schnittstellen wie GigE Vision, USB3 Vision, USB 2.0, MIPI CSI-2, FPD-Link III sowie demnächst auch GMSL2. Für Anwendungen in rauen Umgebungen sind auch Kameras mit Schutzart IP67 verfügbar.
The Imaging Source bietet seinen Kunden ein aufeinander abgestimmtes Portfolio aus einer Hand an: Neben der umfangreichen Vielfalt an Kameras zählt dazu auch eine große Auswahl an Objektiven, Kabeln und Treibern. Vorkonfigurierte Referenzdesigns auf Basis von Nvidia- oder NXP-SoMs und bei Bedarf Support für Drittanbieter-Hardware vereinfachen Entwicklern von Embedded-Vision-Systemen das Design ihrer Lösungen.
Diese Strategie bietet Vorteile wie unter anderem eine garantierte Kompatibilität und nahtlose Integration der empfohlenen Komponenten, kürzere Entwicklungszeiten und eine schnellere Markteinführung von Systemen, eine vereinfachte und kostengünstigere Beschaffung und Logistik der benötigten Komponenten sowie den Aufbau einer langfristigen Partnerschaft mit Support und Wartungsservice.
