Schwerpunkte

The Imaging Source

FPD-Link III ergänzt MIPI CSI-2

26. August 2020, 09:54 Uhr   |  Andreas Knoll

FPD-Link III ergänzt MIPI CSI-2
© The Imaging Source

»Jetson Nano« von Nvidia mit dediziertem Lüfter zur Vermeidung thermischer Drosselung

Um im Sinne von Embedded Vision die Leistungsmerkmale der Embedded-Rechner von Nvidia und des Raspberry Pi 4 nutzen zu können, bietet The Imaging Source dazu passende MIPI-CSI-2-Platinenkameras an. Jetzt hat TIS seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras mit größeren Kabellängen erweitert.

Viele Machine-Vision-Anwendungen, vor allem solche mit mehreren Kameras, erfordern größere Kabellängen als die etwa 20 cm, die bei den MIPI-CSI-2-Kameras nicht überschritten werden sollten. The Imaging Source hat daher seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras für Kabellängen bis zu 15 m erweitert. Über ein dünnes Koaxkabel mit 2,8 mm Durchmesser lassen sich Bilddaten mit bis zu 4,16 Gbit/s übertragen, wobei Bilddaten, Steuerbefehle (z.B. über I2C) und Stromversorgung simultan übertragen werden. Die Bandbreite reicht aus, um beispielsweise die Bilddaten einer 5-MPixel-Kamera mit 30 Frames/s zu transferieren.

Kunden haben jetzt also die Wahl zwischen MIPI-CSI-2- und FPD-Link-III-Platinenkameras sowie FPD-Link-III-Kameras im IP67-Gehäuse. Die kompakten Kameras sind als Monochrom- und Farbversionen mit aktuellen CMOS-Bildsensoren von Sony und On Semiconductor erhältlich. Zur Wahl stehen Global-Shutter- und Rolling-Shutter-Bildsensoren mit Auflösungen von 0,3 MPixel (VGA) bis 8,3 MPixel.

TIS_embedded camera group
© The Imaging Source

Embedded-Platinenkameras (von rechts nach links): MIPI CSI-2 und FPD-Link III, Platinenkamera mit M12-Objektiv und FPD-Link-IP67-Kamera

Anschluss der Platinenkameras an die Embedded-Rechner

The Imaging Source stellt MIPI-CSI-2- und FPD-Link-III-Kamera-Anschluss-Boards mit 1 bis 6 Kameraeingängen zum Anschluss der Platinenkameras an die Embedded-Rechner Jetson Nano, Xavier NX und AGX Xavier von Nvidia sowie den Raspberry Pi 4 bereit. Welche Gründe gibt es für Anwender aber, nicht USB-3- oder GigE-Kameras zu verwenden, sondern MIPI-CSI-2- oder FPD-Link-III-Kameras? Die Antwort darauf liegt aus Sicht von The Imaging Source in den Leistungsmerkmalen der Hardware-beschleunigten Image Signal Processors (ISPs) als Herzstücke der genannten Embedded-Rechner. Die MIPI-CSI-2-Schnittstellen der Embedded-Rechner sind direkt mit dem ISP verbunden, um Latenzen und Datenkonvertierungen zu vermeiden. Die MIPI-CSI-2-Kameras von The Imaging Source haben keine Bildverarbeitungstechnik und reichen die rohen Bilddaten direkt zur Schnittstelle weiter. Kamera-Boards dieser Art sind daher besonders kostengünstig. Der ISP übernimmt Hardware-beschleunigte Operationen wie etwa De-Bayering, Farbkorrektur, Farbraumkonvertierung, Weißabgleich, Objektivkorrektur und Bilddatenkomprimierung (z.B. H.264/H.256).

TIS_RPi4_MIPI
© The Imaging Source

Raspberry-Pi-4-Plattform – hier mit MIPI-CSI-2-Schnittstelle, auch als FPD-Link III erhältlich

Prädestiniert sind die genannten Embedded-Rechner von Nvidia – also Jetson Nano, Xavier NX und AGX Xavier – besonders für KI- und anspruchsvolle Machine-Vision-Applikationen. Sie bieten neben dem ISP eine GPU mit CUDA-Recheneinheiten und mehrere MIPI-CSI-2-Kameraschnittstellen. Die Nvidia-Rechner vermögen mehrere neuronale Netze parallel auszuführen, um damit Bildsegmentierung, Bildklassifikation und Objekterkennung zu realisieren. Nvidias SDK „JetPack“ unterstützt sämtliche Embedded-Rechner des Unternehmens.

Für Deep Learning sowie zur Bild- und Videoverarbeitung bietet Nvidia umfangreiche Software-Bibliotheken an. The Imaging Source stellt die entsprechenden Kameratreiber bereit, die sich nahtlos in das Nvidia-Software-Framework einfügen. So lassen sich Bilddaten direkt an ein vortrainiertes Deep-Learning-Modul übergeben.

TIS_car with sensors
© The Imaging Source

Die Automobilhersteller verlassen sich zunehmend auf Bildverarbeitungssysteme, um eine Vielzahl von Sicherheits- und Komfortfunktionen zu bieten.

Für weniger anspruchsvolle Bildverarbeitungsaufgaben bietet sich der Raspberry Pi 4 mit einer MIPI-CSI-2-Kameraschnittstelle und einem ISP an. Auch hier ist die MIPI-CSI-2-Schnittstelle direkt mit dem ISP verbunden. Der Raspberry Pi 4 ist beispielsweise in der Lage, hochauflösende Bilder mit H.264 zu komprimieren und über Ethernet oder WLAN zu versenden.

Die Nvidia- und Raspberry-Pi-Embedded-Rechner werden von einer großen Open-Source- und Maker Community unterstützt. Support-Fragen lassen sich in entsprechenden Foren posten, wo sich Entwickler untereinander austauschen. Nvidia bietet darüber hinaus beispielsweise kostenlose Online-Schulungen zum Thema Deep Learning an.

_xavier NX_MIPI
© The Imaging Source

Der kleine, aber leistungsstarke Xavier NX von Nvidia. Obwohl von der Größe her mit dem Nano vergleichbar, bietet der Xavier NX deutlich mehr KI-Leistung.

Auf Facebook teilenAuf Twitter teilenAuf Linkedin teilenVia Mail teilen

Verwandte Artikel

The Imaging Source Europe GmbH, NVIDIA Corporate