Scripted Streaming Baukasten für Modulkameras

IP-Kameras sind mittlerweile in vielen Märkten etabliert – etwa bei Actioncams, Dashcams und Überwachunsgkameras.

SoCs vereinfachen die Kamera-Entwicklung, das steht außer Frage. Der Weg zum verkaufsfertigen Produkt ist jedoch immer noch langwierig – und rechnet sich meist nur für große Serien. Die Modulkameras und Entwicklungswerkzeuge von Teknique könnten das künftig ändern.

War die Entwicklung analoger Röhren- oder CCD-Kameras Spezialisten mit einschlägigem Know-how vorbehalten, hat sich die Situation inzwischen verändert. Gefragt sind heute vor allem Software-Kenntnisse. Schließlich basieren fast alle Implementierungen auf einem Linux-Kernel mit aufgesetzter Middleware zum Export der Hardware-Funktionen sowie einer Applikationsschicht mit der eigentlichen Kameraanwendung. Zwar sind nach wie vor Kenntnisse der Optik und besonders der Bildsensortechnik notwendige »Skills« eines Kameraentwicklers; das Anforderungsprofil tendiert jedoch zunehmend in Richtung Schnittstellen und Netzwerkfunktionen. In jüngster Zeit wird auch künstliche Intelligenz (KI) – vor allem für industrielle Videoauswertung – immer wichtiger.

Aktuelle Kameraentwicklungen nutzen SoCs mit integrierten Controllern, Encodern und DSPs, was die Produktentwicklung wesentlich vereinfacht. Doch auch mit solchen Komponenten ist der Weg zur verkaufsfertigen Kamera weit. Häufig rechnen sich derartige Projekte außerdem nur für große Serien.

Für kleinere Stückzahlen bietet die neuseeländische Firma Teknique nun aber Modulkameras und Entwicklungswerkzeuge auf Basis der SoCs des US-amerikanischen Herstellers Ambarella an und ermöglicht damit auch in diesem Marktsegment erfolgreiche Produktplatzierungen mit kurzer Time-to-Market (TTM). Dabei ist es nicht nur die Hardware, die schon »out of the box« funktionsfähig zur Verfügung steht, sondern vor allem eine clevere Software-Strategie mit leichter Anwendungsentwicklung.

Die S5L-SoC-Serie von Ambarella

Der S5L ist ein in 14 nm LPCMOS gefertigtes IP-Camera-SoC der 5. Generation mit eindrucksvollen Bild- und Videoverarbeitungseigenschaften bei geringer Leistungsaufnahme (Bild 1). So lässt sich die Variante S5Lm beispielsweise mit leicht reduzierten Taktraten der Videopipeline und des ARM-Controllers auch für batteriebetriebene Kameras einsetzen.

Wesentliche Funktionsblöcke der IP-Camera-SoCs sind der Image-DSP, auch ISP oder Sensorpipeline genannt, der Video-DSP zur Encodierung, ein LPDDR Memory-Controller und ein ARM-Prozessor zur zentralen Steuerung der Abläufe (Bild 2). Da alle recheninten­siven Prozesse zur Bildverarbeitung in Signal- und Vektorprozessoren aus­ge­lagert sind, steht die CPU auch im Last­betrieb mit beispielsweise 4kp30 H.265-Encodierung kaum im Stress und bietet noch genügend Leistungsre­serven für kundenspezifische Anwendungen.

Der Image-DSP bildet die Schnittstelle zu den Bildsensoren und entscheidet so nicht nur über die Bildqualität, sondern durch sein 3D-MCTF-Rauschminderungsverfahren auch über die Kompressionsqualität. Denn jegliches Bildrauschen mindert erheblich die Kompressionsqualität, »bläst« also die notwendige Datenrate auf, ohne dabei mehr Details zu übertragen. Die Sensor­pipeline leistet aber noch mehr: etwa die Umrechnung der Sensorrohdaten in YUV- oder RGB-Werte, die Dynamikverbesserung durch HDR- oder WDR-Verfahren, die geo­metrische Entzerrung von Weitwinkelaufnahmen (De-Warping), die elektro­nische Bildstabilisierung sowie das Defogging und die Einstellung von Bildparametern wie Helligkeit, Kontrast oder Farbbalance.

Der Video-DSP verarbeitet die im Hauptspeicher abgelegten Bilder zu standardkonform encodierten JPEG-, H.264- oder HEVC-Videostreams. Um eine hohe Kompressionseffizienz zu erzielen, verfügt sie über erweiterte und einstellbare GOP-Strukturen. Erreicht werden damit zudem niedrige Datenraten: Mit dem SmartAVC, einem von Ambarella modifizierten H.264-Encoder, kann beispielsweise ein 1080p30-Video ohne bewegten Bildinhalt mit 100 kbps übertragen werden. 400 bis 800 kbps sind es mit Bewegungsinhalten; der SmartHEVC lässt dann noch einmal etwa 50 Prozent »Luft« aus den Datenströmen. Diese Kompressionsleistung erlaubt nicht nur die Anbindung von hochauflösenden IP-Kameras über schmalbandige Infrastrukturen (zum Beispiel Funkstrecken), sondern reduziert auch den für die Aufzeichnung des Videomaterials benötigten Speicherplatz.