The Imaging Source Systems on Module für die Bildverarbeitung

Drei MIPI-Kameramodule sind hier über FPD-Link-III an ein SoM angeschlossen.

Embedded Vision hat sich in der industriellen Bildverarbeitung als Trend herauskristallisiert. The Imaging Source bietet hierzu mittlerweile ein komplettes Produktportfolio an.

Embedded-Vision-Plattformen unter anderem von Nvidia, NXP, Qualcomm oder der Raspberry Pi Foundation werden immer leistungsfähiger und damit für eine Vielzahl von Machine-Vision- und KI-Anwendungen interessant. Diese SoMs (System on Module) verfügen über einen Image-Signal-Processor (ISP) mit MIPI/CSI-2-Kamera-Schnittstelle. Der ISP übernimmt Hardware-beschleunigte Operationen wie etwa De-Bayering, Farbkorrektur, Farbraumkonvertierung, Weißabgleich, Objektivkorrektur und Bilddatenkomprimierung (H.264/H.256). Neben dem ISP verfügen die SoMs über ARM-Kerne und GPUs für allgemeine Bildverarbeitungs- und Steuerungsaufgaben. Anwender können ferner die SoMs mit eigenen Carrier-Boards ausstatten, um damit eigene Anwendungen zu realisieren. Beispiele sind Carrier-Boards für Automotive-Anwendungen mit Multikamera-Eingängen und Fakra-Steckern sowie Lidar- und Ultraschall-Eingängen oder CAN-Bus-Schnittstellen für Fahrerassistenzsysteme.

Neben all den Vorteilen, die diese SoMs versprechen, gibt es aber auch diverse Hürden zu überwinden. Jeder MIPI-Kamerasensor benötigt einen eigenen Kernel-Mode-Treiber, und jeder ISP benötigt eine spezielle Sensorkonfiguration. Um die Nvidia-SoMs mit maximaler Performance zu betreiben, gibt The Imaging Source dieses Know-how an seine Kunden weiter.

Hinzu kommt, dass die Länge des MIPI-Anschlusskabels eine maximale Länge von 20 cm nicht überschreiten sollte. Diese Einschränkung lässt sich mit einem MIPI-nach-FPD-Link-III-Serializer-Board und einem dünnen Koaxkabel überwinden. Kabellängen bis 15 m sind so realisierbar. Damit wird diese Technologie für eine Vielzahl von Automotive-, Robotik- und Inspektionsanwendungen interessant.

The Imaging Source stellt MIPI-Kameramodule mit den Bildsensoren IMX390, IMX290, IMX335, IMX397, IMX296, IMX334 und IMX297 von Sony oder AR0234 von On Semiconductor her. Sie lassen sich mit ebenfalls angebotenen FPD-Link-III-Serializer-Boards verbinden. Deserializer-Boards stehen für die Nvidia-Plattform und den Raspberry Pi zur Verfügung.

Bei der Nvidia-Plattform bestehend aus den SoMs Jetson Nano, Jetson TX2 und Jetson AGX Xavier handelt es sich um eine Multikamera-Plattform, die für Automotive-, Machine-Vision- und KI-Anwendungen besonders interessant ist. Hinzu kommt, dass die Plattform von vielen Soft- und Hardware-Entwicklern genutzt und entsprechend gut unterstützt wird.

The Imaging Source unterstützt die Nvidia-Plattform mit eigenen MIPI/FPD-Link-III-Treibern, Deserializer-Boards und einem Linux-SDK. Unter Anwendung der Machine-Vision-Bibliothek Halcon von MVTec lassen sich zahlreiche Bildverarbeitungsanwendungen mit geringem Programmieraufwand realisieren.