The Imaging Source FPD-Link III ergänzt MIPI CSI-2

»Jetson Nano« von Nvidia mit dediziertem Lüfter zur Vermeidung thermischer Drosselung

Um im Sinne von Embedded Vision die Leistungsmerkmale der Embedded-Rechner von Nvidia und des Raspberry Pi 4 nutzen zu können, bietet The Imaging Source dazu passende MIPI-CSI-2-Platinenkameras an. Jetzt hat TIS seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras mit größeren Kabellängen erweitert.

Viele Machine-Vision-Anwendungen, vor allem solche mit mehreren Kameras, erfordern größere Kabellängen als die etwa 20 cm, die bei den MIPI-CSI-2-Kameras nicht überschritten werden sollten. The Imaging Source hat daher seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras für Kabellängen bis zu 15 m erweitert. Über ein dünnes Koaxkabel mit 2,8 mm Durchmesser lassen sich Bilddaten mit bis zu 4,16 Gbit/s übertragen, wobei Bilddaten, Steuerbefehle (z.B. über I2C) und Stromversorgung simultan übertragen werden. Die Bandbreite reicht aus, um beispielsweise die Bilddaten einer 5-MPixel-Kamera mit 30 Frames/s zu transferieren.

Kunden haben jetzt also die Wahl zwischen MIPI-CSI-2- und FPD-Link-III-Platinenkameras sowie FPD-Link-III-Kameras im IP67-Gehäuse. Die kompakten Kameras sind als Monochrom- und Farbversionen mit aktuellen CMOS-Bildsensoren von Sony und On Semiconductor erhältlich. Zur Wahl stehen Global-Shutter- und Rolling-Shutter-Bildsensoren mit Auflösungen von 0,3 MPixel (VGA) bis 8,3 MPixel.

Anschluss der Platinenkameras an die Embedded-Rechner

The Imaging Source stellt MIPI-CSI-2- und FPD-Link-III-Kamera-Anschluss-Boards mit 1 bis 6 Kameraeingängen zum Anschluss der Platinenkameras an die Embedded-Rechner Jetson Nano, Xavier NX und AGX Xavier von Nvidia sowie den Raspberry Pi 4 bereit. Welche Gründe gibt es für Anwender aber, nicht USB-3- oder GigE-Kameras zu verwenden, sondern MIPI-CSI-2- oder FPD-Link-III-Kameras? Die Antwort darauf liegt aus Sicht von The Imaging Source in den Leistungsmerkmalen der Hardware-beschleunigten Image Signal Processors (ISPs) als Herzstücke der genannten Embedded-Rechner. Die MIPI-CSI-2-Schnittstellen der Embedded-Rechner sind direkt mit dem ISP verbunden, um Latenzen und Datenkonvertierungen zu vermeiden. Die MIPI-CSI-2-Kameras von The Imaging Source haben keine Bildverarbeitungstechnik und reichen die rohen Bilddaten direkt zur Schnittstelle weiter. Kamera-Boards dieser Art sind daher besonders kostengünstig. Der ISP übernimmt Hardware-beschleunigte Operationen wie etwa De-Bayering, Farbkorrektur, Farbraumkonvertierung, Weißabgleich, Objektivkorrektur und Bilddatenkomprimierung (z.B. H.264/H.256).

Prädestiniert sind die genannten Embedded-Rechner von Nvidia – also Jetson Nano, Xavier NX und AGX Xavier – besonders für KI- und anspruchsvolle Machine-Vision-Applikationen. Sie bieten neben dem ISP eine GPU mit CUDA-Recheneinheiten und mehrere MIPI-CSI-2-Kameraschnittstellen. Die Nvidia-Rechner vermögen mehrere neuronale Netze parallel auszuführen, um damit Bildsegmentierung, Bildklassifikation und Objekterkennung zu realisieren. Nvidias SDK „JetPack“ unterstützt sämtliche Embedded-Rechner des Unternehmens.

Für Deep Learning sowie zur Bild- und Videoverarbeitung bietet Nvidia umfangreiche Software-Bibliotheken an. The Imaging Source stellt die entsprechenden Kameratreiber bereit, die sich nahtlos in das Nvidia-Software-Framework einfügen. So lassen sich Bilddaten direkt an ein vortrainiertes Deep-Learning-Modul übergeben.

Für weniger anspruchsvolle Bildverarbeitungsaufgaben bietet sich der Raspberry Pi 4 mit einer MIPI-CSI-2-Kameraschnittstelle und einem ISP an. Auch hier ist die MIPI-CSI-2-Schnittstelle direkt mit dem ISP verbunden. Der Raspberry Pi 4 ist beispielsweise in der Lage, hochauflösende Bilder mit H.264 zu komprimieren und über Ethernet oder WLAN zu versenden.

Die Nvidia- und Raspberry-Pi-Embedded-Rechner werden von einer großen Open-Source- und Maker Community unterstützt. Support-Fragen lassen sich in entsprechenden Foren posten, wo sich Entwickler untereinander austauschen. Nvidia bietet darüber hinaus beispielsweise kostenlose Online-Schulungen zum Thema Deep Learning an.