Ambarella
5-nm-KI-SoC für Security-Kameras
Der CV72S von Ambarella ist ein Derivat des CV3-AD685, ein Automotive-KI-Domänen-Controller, den das Unternehmen auf der diesjährigen CES vorgestellt hat. Das neue KI-SoC, ebenfalls mithilfe eines 5-nm-Prozesses gefertigt, wurde auf die Anforderungen in professionellen Security-Kameras optimiert.
Der CV72S ist das erste SoC für IoT-Anwendungen, das auf unserer neuesten CVflow-3.0-KI-Architektur basiert, genau wie der CV3-AD, wobei der CV72S viel kleiner ist als der CV3-AD, um die Kostenziele in den adressierten AIoT-Anwendungen zu treffen«, erklärt Jerome Gigot, Senior Director of AIoT bei Ambarella. Das Unternehmen ist seit Anfang an im Videobereich aktiv, und hier sehr erfolgreich, denn »wir können mit unseren Chips hohe Qualität und Kompression und das bei geringer Leistungsaufnahme bieten«, so Gigot weiter.
Wenn es um Security-Kameras geht, sieht Gigot diverse Anforderungen, die mittlerweile erfüllt werden sollen. So würde immer mehr KI-Funktionalität in den Kameras gefordert, weil damit vermieden werden kann, dass die Daten in die Cloud zur Verarbeitung geschickt werden. »Die Kameras sollen auch immer größere Distanzen überblicken können; wenn ein Nummernschild in 200 m noch erkannt werden soll, bedingt dies ebenfalls eine deutlich höhere KI-Performance«, so Gigot weiter. »Die Entwickler nutzen KI mittlerweile auch für eine bessere Videoverarbeitung, und es gibt neue Netzwerkarchitekturen, die ebenfalls neue Halbleiter erforderlich machen, ein Punkt, den wir mit unserem neuen DV72S ebenfalls unterstützen«, erklärt Gigot.
Bildqualität zu erreichen, und das auch bei schwierigen Sichtbedingungen wie beispielsweise bei Nacht. Außerdem sollen seiner Aussage nach Security-Kameras immer größere Flächen überwachen können, beispielsweise an Flughäfen, damit eben nicht an vielen Orten einzelne Kameras installiert werden müssen, sondern ein großer Raum mit nur noch einer Kamera überwacht werden kann. Außerdem werde immer häufiger eine Sensorfusion gefordert.
Gigot: »Beispielsweise ist die Leistungsfähigkeit einer Kamera in der Nacht oder bei Nebel oder Schnee nicht gut. Kommt ein zusätzlicher Radarsensor hinzu, kann die Leistungsfähigkeit auch bei diesen Bedingungen deutlich erhöht werden, denn der Radarsensor sieht nicht nur Dinge, die die Kamera nicht sieht, sondern kann zum Beispiel auch Informationen über die Distanz der verschiedenen Objekte geben.« All diese Anforderungen würden dazu führen, dass die Halbleiter eine viel höhere Verarbeitungsleistung aufweisen müssen.
CV72S für KI-Kameras
CV72S adressiere all diese Trends. Der Meinung ist nicht nur Gigot, sondern auch Florian Domengie, Senior Technology & Market Analyst für Imaging bei Yole Intelligence, Teil der Yole Group. Er erklärt: »Der CV72S von Ambarella passt perfekt in den anhaltenden Trend bei Sicherheitskameras, immer mehr KI-Funktionen in Kameraprozessoren im Edge zu integrieren und gleichzeitig ein geringes Energie- und Wärmebudget beizubehalten. Wir gehen davon aus, dass das Wachstum von Infrastrukturkameras, die mit einem Prozessor mit fortschrittlicher KI-Beschleunigung betrieben werden, in den kommenden Jahren deutlich zunehmen wird, und zwar mit einer durchschnittlichen Jahreswachstumsrate von 23 Prozent zwischen den Jahren 2022 und 2027.«
Das SoC ist für 4K-Kameras mit einer Frame-Rate von 60 fps (Frames per Second) geeignet, aber auch Multi-Imagers mit bis zu vier Sensoren mit jeweils 4 MP (Megapixel) sowie Fisheye-Kameras mit bis zu 16 MP. »Somit können Entwickler von 4K-Kameras ihre Systeme mit einer verbesserten KI-Performance und einer hervorragenden Nachtsicht ausstatten. Dank der hohen Auflösung lassen sich größere Flächen und Distanzen abdecken, sodass beispielsweise die Erkennung von Nummernschildern auch bei großer Distanz möglich ist«, erklärt Gigot. Aus seiner Sicht eignen sich die SoCs also besonders gut für Verkehrskameras, Überwachungskameras in belegten Gebieten wie Städten oder Einkaufszentren. Darüber hinaus bieten die SoCs auch genügend Rechenleistung, um auch eine Kombination von Kamera und Radar zu ermöglichen.
KI-Leistung deutlich erhöht
Im Vergleich zur Vorgängerversion (CV22S) kommt der CV72S laut Gigot auf eine um den Faktor 6 erhöhte KI-Leistung. Damit ist es möglich, mehrere KI-Algorithmen gleichzeitig laufen zu lassen, beispielsweise Personen-Tracking und die Erkennung von Nummernschildern. »Die Leistungsaufnahme liegt dennoch unter 3 W, das entspricht den Anforderungen von Sicherheitskameras«, fährt Gigot fort. Außerdem verfügen die SoCs über Security-Funktionen in Hardware, wie Secure Boot, OTP und Arm-TrustZone-Technologie, um ein Hacken der Kameras zu verhindern. Und weiter: »Früher wurden für solche Aufgaben oft CNNs verwendet; mittlerweile werden aber immer häufiger Transformer für Vision-Anwendungen eingesetzt, und auch das ist mit unseren neuen SoCs kein Problem, weil wir hierfür spezielle Hardware integriert haben und dadurch solche Netze sehr effizient verarbeiten können.«
Der CV72S auf Basis von 5 nm wird von Samsung produziert, der Vorgänger basiert auf 10-nm-Strukturen. Damit konnte nicht nur die KI-Performance deutlich erhöht werden (Faktor 6), sondern auch die Leistungsfähigkeit der Encoder, der CPUs und die Speicherbandbreite verdoppelt werden. »Und wir haben zusätzliche Hardware für eine beschleunigte Verarbeitung von Radarsignalen integriert«, erklärt Gigot.
Die zwei Cortex-A76-Kerne laufen mit 1,6 GHz, die SoCs unterstützen 32-bit-LPDDR4x/LPDDR5/LPDDR5x-DRAMs. Darüber hinaus hat Ambarella auch die Hochgeschwindigkeits-PCIe- und USB-3.2-Schnittstellen integriert, um auch komplexere Multi-Chip-Sicherheitssystemdesigns zu ermöglichen. Als letzten Punkt weist Gigot noch darauf hin, dass in dem CV72S ein KI-unterstützter ISP (Bildsignalprozessor) integriert ist, »der dank der KI auch bei Nacht ein scharfes Farbbild liefert und HDR bei geringen Lux-Werten und ohne externe Beleuchtung möglich macht.«
Die Fusion von Radar und Kamera
»Radar und Kameras ergänzen sich hervorragend«, erklärt Gigot weiter. Ein Punkt, der in Security-Systemen, die 7 Tage die Woche rund um die Uhr laufen, extrem wichtig ist, »denn sie müssen bei allen Wetter- und Lichtbedingungen funktionieren«, so Gigot. Der CV72S unterstützt nativ die Verarbeitung von Radarsignalen, außerdem kommt die Oculii-VAI-Software (Ambarella hat Oculii 2021 übernommen) zum Einsatz, sodass »wir im Vergleich zur traditionellen Radar-Verarbeitung eine um den Faktor von mehr als 10 höhere Genauigkeit erreichen, und das mit weniger Antennen.«
Für die Entwicklung steht die CVflow-KI-Entwicklungsplattform von Ambarella zur Verfügung. Sie umfasst einen vollständigen Satz an Tools für eine einfache Portierung und unterstützt alle gängigen CV-Frameworks. Die neuen SoCs sind als Muster erhältlich.
