SoC für Bildverarbeitung per KI
Hohe Rechenleistung für smarte Kameras
Als »Vision Intelligence Platform« kündigt Qualcomm mit den SoCs QCS605 und QCS603 eine erste Familie von SoCs an, deren hohe Rechenleistung speziell für KI-Applikationen zur Bildverarbeitung ausgelegt wurde.
Die beiden SoCs QCS605 und QCS603 der neuen Vision Intelligence Platform von Qualcomm Technologies, Inc. wurden entwickelt, um leistungsstarke Prozessoren mit hoher Energieeffizienz zu realisieren. Sie sollen Kamera-Applikationen und maschinelles Lernen auf Geräten für IoT-Anwendungen ermöglichen.
In den SoCs sind neben dem fortschrittlichsten Bildprozessor (ISP – Image Signal Processor) von Qualcomm Technologies auch die AI-Engine (Artificial Intelligence) sowie eine heterogene Rechenarchitektur mit modernen ARM-basierten Mehrkern-Prozessoren, Vektorprozessor und Grafikprozessor (GPU – Graphics Processing Unit) integriert. Sie enthalten zusätzlich Funkschnittstellen (WLAN, Bluetooth), Empfänger für die Satellitennavigation sowie Blöcke zur Audiosignalverarbeitung.
Jobangebote+ passend zum Thema
| QCS605 | QCS603 |
CPU (64 bit) | ||
Takt | max. 2,5 GHz | max 1,7 GHz |
Prozessorkerne | 2 × 2,5 GHz Qualcomm Kryo 300 Gold, | 2 × 1,6 GHz Qualcomm Kryo 300 Gold, |
DSP | Qualcomm Hexagon 685 DSP, | |
GPU | Qualcomm Adreno™ 615 GPU, | |
Artificial Intelligence Engine | ||
DSP | Qualcomm Hexagon 685 Vector Processor, | |
GPU | Qualcomm Adreno 615 GPU | |
Neural Processing | Qualcomm Snapdragon Neural Processing Engine programming interface, | |
Speicher | ||
| 1866 MHz, 16 bit, LPDDR4x | |
Kameraunterstützung | ||
Bildsensorgröße | 1 Kamera: max. 32 MPixel, | 1 Kamera: max 24 MPixel, |
Bildprozessor | 2 × Qualcomm Spectra 270 image sensor processor, 14 bit | |
Bildverbesserung | Motion Compensated Temporal Filter (MCTF), | |
Video | ||
Aufnahme | max. 4K Ultra HD mit 60 Hz, | max. 720p mit 60 Hz, |
Wiedergabe | max. 4K Ultra HD | |
Codec | H.265 (HEVC), H.264 (AVC) | |
Display | ||
| Quad HD (SoC), 4K Ultra HD (extern) | |
Audio | ||
| Qualcomm Aqstic audio technology, | |
Aufnahme | Dynamik: 109 dB, | |
Wiedergabe | Dynamik: 130 dB, | |
WLAN | ||
Standards | 802.11ac Wave 2, | 802.11ac, |
Bänder | 2,4 GHz, 5 GHz | |
Datenrate | max. 867 Mbit/s | |
Kanalbandbreite | 20 MHz, 40 MHz, 80 MHz, 160 MHz | 20 MHz, 40 MHz, 80 MHz |
MIMO | 2 × 2 (2 Übertragungskanäle) | 1 × 1 (1 Übertragungskanal) |
Sonstiges | ||
Bluetooth | V 5.1 | |
Satellitennavigation | GPS, Glonass, Beidou, Galileo, QZSS, SBAS | |
USB | USB 3.1 | |
Technische Daten der beiden SoCs QCS605 und QCS603 von Qualcomm.
Zur Vision Intelligence Platform gehört auch eine Bildverarbeitungssoftware für den Einsatz in Kameras und SDKs für maschinelles Lernen und Bildverarbeitung. Damit ist es Entwicklern möglich Sicherheitskameras für den industriellen und privaten Einsatz, Sportkameras, tragbare Kameras, Kameras für VR (Virtual Reality) mit 360° und 180° sowie Kameras für die Robotik und für viele weitere Anwendungen zu realisieren.
Integrierte AI-Engine
In den SOCs QCS605 und QCS603 hat Qualcomm eine AI-Engine integriert um KI-Applikationen zu beschleunigen. Sie besteht aus mehreren Komponeten – integrierte Hardware und auch Software. Dazu gehören das Software-Framework Snapdragon Neural Processing Engine (NPE), es enthält Analyse-, Optimierungs- und Debugging-Tools für Entwicklungen mit Tensorflow-, Caffe- und Caffe2-Frameworks, das Austauschformat Open Neural Network Exchange sowie die Android Neural Networks API und die Bibliothek Qualcomm Hexagon Neural Network. Sie sollen Entwicklern bei der Portierung von Applikationen auf die Vision Intelligence Platform helfen.
Mit der Qualcomm AI Engine und dem Snapdragon NPE Software-Framework erreicht die Vision Intelligence Platform eine Rechenleistung von bis zu 2,1 TOPS für neuronale Netze.
Heterogene Prozessorarchitektur
Die zum Rechnen genutzte Prozessorarchitektur des QCS605 ist heterogen, sie besteht aus acht Qualcomm Kryo 360 CPU-Kernen, dem Grafikprozessor Qualcomm Adreno 615 und dem Vektorprozessor Hexagon 685.
Für die grafische Darstellung können Entwickler eine Reihe von Anzeigeoptionen bis hin zum Touchscreen mit WQHD-Auflösung (2560 × 1440 Pixel) mit Hardware-Beschleuniger, 3D-Overlays und Unterstützung für die wichtigsten Grafik-APIs wie OpenGL, OpenCL und Vulkan nutzen.
Die Prozessorarchitektur unterstützt verschiedene Betriebssysteme, die es Entwicklern und Herstellern ermöglichen, auf einfache Weise differenzierende Funktionen, wie z.B. Panoramabildfunktionen (Stitching) für VR-360°-Kameras, Navigation um Hindernisse für autonom agierende Roboter sowie das Zusammenfassen von Videos bei Action-Kameras.
Schwerpunkt: Kameraanwendungen
Das SoC QCS605 unterstützt die Aufnahme von Videosignalen mit hoher Auflösung – 4K bei 60 Hz oder 5,7 K bei 30 Hz – und kann auch mehrere Videosignale mit niedrigeren Auflösungen gleichzeitig erfassen. Für die hohe Bildqualität hat Qualcomm einen neuen Bildprozessor entwickelt. Im QCS605 und QCS603 sind jeweils zwei dieser 14-bit ISPs, Qualcomm Spectra 270, integiert. Sie können die Daten von zwei 16-Megapixel-Sensoren erfassen.
Beide SoCs der Vision Intelligence Platform sind mit Transceivern für WLAN und Bluetooth ausgestattet und können Audiosignale verarbeiten – incl. 4-W-Verstärker. Dazu zählen auch Funktionen zur Audiosignalanalyse und Sprachverarbeitung sowie Spracherkennung.
Die in Hardware realisierten Sicherheitsfunktionen umfassen sicheres Booten von der Hardware-Root-of-Trust (RoT), vertrauenswürdige Ausführungsumgebung, Hardware-Kryptografieprozessoren, sicheren Speicher, Debug-Sicherheit, das Bereitstellen von Schlüsseln und geschützte Funkprotokolle.
Unterstützung durch Partner
Auf KI-Anwendungen spezialisierte Unternehmen wie:
- SenseTime – für Gesichts-, Bild- und Objekterkennung,
- Pilot.ai – für eine Vielzahl von Bildverarbeitungsaufgaben wie Erkennung, Klassifizierung und Verfolgung von Aktionen und Objekten sowie
- MM Solutions – für Funktionen zu Verbesserung der Bildqualität,
unterstützen bereits die Vision Intelligence Platform von Qualcomm.
Muster der beiden SOCs QCS605 und QCS603 sind verfügbar – in mehreren Versionen. Ebenso bietet Qualcomm bereits ein Referenzdesign für eine 360°-VR-Kamera auf der Basis des QCS605 an, das zusammen mit der Altek Corporation entwickelt wurde. Referenzdesigns für Industrie-Sicherheitskameras auf der Basis des QCS603 sollen in der zweiten Hälfte des Jahres 2018 folgen.
Lesen Sie mehr zum Thema
Das könnte Sie auch interessieren
Mikrocontroller
Neue PIC- und AVR-Controller für Regelkreise
Industriekameras
IDS liefert Millionste Kamera aus
