SoC für Bildverarbeitung per KI Hohe Rechenleistung für smarte Kameras

Zu den SoCs der Vision Intelligence Platform bietet Qualcomm auch Referenzdesigns für Kameras an.
Zu den SoCs der Vision Intelligence Platform bietet Qualcomm auch Referenzdesigns für Kameras an.

Als »Vision Intelligence Platform« kündigt Qualcomm mit den SoCs QCS605 und QCS603 eine erste Familie von SoCs an, deren hohe Rechenleistung speziell für KI-Applikationen zur Bildverarbeitung ausgelegt wurde.

Die beiden SoCs QCS605 und QCS603 der neuen Vision Intelligence Platform von Qualcomm Technologies, Inc. wurden entwickelt, um leistungsstarke Prozessoren mit hoher Energieeffizienz zu realisieren. Sie sollen Kamera-Applikationen und maschinelles Lernen auf Geräten für IoT-Anwendungen ermöglichen.

In den SoCs sind neben dem fortschrittlichsten Bildprozessor (ISP – Image Signal Processor) von Qualcomm Technologies auch die AI-Engine (Artificial Intelligence) sowie eine heterogene Rechenarchitektur mit modernen ARM-basierten Mehrkern-Prozessoren, Vektorprozessor und Grafikprozessor (GPU – Graphics Processing Unit) integriert. Sie enthalten zusätzlich Funkschnittstellen (WLAN, Bluetooth), Empfänger für die Satellitennavigation sowie Blöcke zur Audiosignalverarbeitung.

 

QCS605

QCS603

CPU (64 bit)

Takt

max. 2,5 GHz

max 1,7 GHz

Prozessorkerne

2 × 2,5 GHz Qualcomm Kryo 300 Gold,
6 × 1,7 GHz Qualcomm Kryo 300 Silver

2 × 1,6 GHz Qualcomm Kryo 300 Gold,
2 × 1,7 GHz Qualcomm Kryo 300 Silver

DSP

Qualcomm Hexagon 685 DSP,
Qualcomm Hexagon Vector Processor,
2 × Qualcomm Hexagon Vector eXtensions (HVX),
Qualcomm All-Ways Aware technology

GPU

Qualcomm Adreno™ 615 GPU,
API-Unterstützung: OpenGL ES 3.2, Vulkan, OpenCL

Artificial Intelligence Engine

DSP

Qualcomm Hexagon 685 Vector Processor,
2x Qualcomm Hexagon Vector eXtensions (HVX).

GPU

Qualcomm Adreno 615 GPU

Neural Processing

Qualcomm Snapdragon Neural Processing Engine programming interface,
Tensorflow, Caffe, Caffe2, ONNE, Android NN.

Speicher

 

1866 MHz, 16 bit, LPDDR4x

Kameraunterstützung

Bildsensorgröße

1 Kamera: max. 32 MPixel,
2 Kameras: max. 16 MPixel

1 Kamera: max 24 MPixel,
2 Kameras: max 16 MPixel

Bildprozessor

2 × Qualcomm Spectra 270 image sensor processor, 14 bit

Bildverbesserung

Motion Compensated Temporal Filter (MCTF),
Temporal Noise Reduction (TNR),
Staggered High Dynamic Range (sHDR),
Electronic Image Stabilization (EIS),
Lens compensation/De-warp

Video

Aufnahme

max. 4K Ultra HD mit 60 Hz,
max. 5,7K mit 30 Hz,
max. 1080p mit 60 Hz

max. 720p mit 60 Hz,
max. 1080p mit 30 Hz

Wiedergabe

max. 4K Ultra HD

Codec

H.265 (HEVC), H.264 (AVC)

Display

 

Quad HD (SoC), 4K Ultra HD (extern)

Audio

 

Qualcomm Aqstic audio technology,
Qualcomm aptX audio technology

Aufnahme

Dynamik: 109 dB,
Abtastung: max. 192 kHz mit 24 bit,
Total Harmonic Distortion + Noise (THD+N): –103 dB

Wiedergabe

Dynamik: 130 dB,
Total Harmonic Distortion + Noise (THD+N): –109 dB,
Abtastfrequenzen: 44,1 kHz, 48 kHz,
PCM: max. 384 kHz mit 32 bit, max. 192 kHz mit 24 bit,
DSD (Direct Stream Digital): DSD64, DSD128,
Verstärker-Ausgangsleistung: max. 4 W

WLAN

Standards

802.11ac Wave 2,
802.11a/b/g,
802.11n

802.11ac,
802.11a/b/g,
802.11n

Bänder

2,4 GHz, 5 GHz

Datenrate

max. 867 Mbit/s

Kanalbandbreite

20 MHz, 40 MHz, 80 MHz, 160 MHz

20 MHz, 40 MHz, 80 MHz

MIMO

2 × 2 (2 Übertragungskanäle)

1 × 1 (1 Übertragungskanal)

Sonstiges

Bluetooth

V 5.1

Satellitennavigation

GPS, Glonass, Beidou, Galileo, QZSS, SBAS

USB

USB 3.1

Technische Daten der beiden SoCs QCS605 und QCS603 von Qualcomm.

Zur Vision Intelligence Platform gehört auch eine Bildverarbeitungssoftware für den Einsatz in Kameras und SDKs für maschinelles Lernen und Bildverarbeitung. Damit ist es Entwicklern möglich Sicherheitskameras für den industriellen und privaten Einsatz, Sportkameras, tragbare Kameras, Kameras für VR (Virtual Reality) mit 360° und 180° sowie Kameras für die Robotik und für viele weitere Anwendungen zu realisieren.

Integrierte AI-Engine

In den SOCs QCS605 und QCS603 hat Qualcomm eine AI-Engine integriert um KI-Applikationen zu beschleunigen. Sie besteht aus mehreren Komponeten – integrierte Hardware und auch Software.  Dazu gehören das Software-Framework Snapdragon Neural Processing Engine (NPE), es enthält Analyse-, Optimierungs- und Debugging-Tools für Entwicklungen mit Tensorflow-, Caffe- und Caffe2-Frameworks, das Austauschformat Open Neural Network Exchange sowie die Android Neural Networks API und die Bibliothek Qualcomm Hexagon Neural Network. Sie sollen Entwicklern bei der Portierung von Applikationen auf die Vision Intelligence Platform helfen.

Mit der Qualcomm AI Engine und dem Snapdragon NPE Software-Framework erreicht die Vision Intelligence Platform eine Rechenleistung von bis zu 2,1 TOPS für neuronale Netze.

Heterogene Prozessorarchitektur

Die zum Rechnen genutzte Prozessorarchitektur des QCS605 ist heterogen, sie besteht aus acht Qualcomm Kryo 360 CPU-Kernen, dem Grafikprozessor Qualcomm Adreno 615 und dem Vektorprozessor Hexagon 685.

Für die grafische Darstellung können Entwickler eine Reihe von Anzeigeoptionen bis hin zum Touchscreen mit WQHD-Auflösung (2560 × 1440 Pixel) mit Hardware-Beschleuniger, 3D-Overlays und Unterstützung für die wichtigsten Grafik-APIs wie OpenGL, OpenCL und Vulkan nutzen.

Die Prozessorarchitektur unterstützt verschiedene Betriebssysteme, die es Entwicklern und Herstellern ermöglichen, auf einfache Weise differenzierende Funktionen, wie z.B. Panoramabildfunktionen (Stitching) für VR-360°-Kameras, Navigation um Hindernisse für autonom agierende Roboter sowie das Zusammenfassen von Videos bei Action-Kameras.

Schwerpunkt: Kameraanwendungen

Das SoC QCS605 unterstützt die Aufnahme von Videosignalen mit hoher Auflösung – 4K bei 60 Hz oder 5,7 K bei 30 Hz – und kann auch mehrere Videosignale mit niedrigeren Auflösungen gleichzeitig erfassen. Für die hohe Bildqualität hat Qualcomm einen neuen Bildprozessor entwickelt. Im QCS605 und QCS603 sind jeweils zwei dieser 14-bit ISPs, Qualcomm Spectra 270, integiert. Sie können die Daten von zwei 16-Megapixel-Sensoren erfassen.

Beide SoCs der Vision Intelligence Platform sind mit Transceivern für WLAN und Bluetooth ausgestattet und können Audiosignale verarbeiten – incl. 4-W-Verstärker. Dazu zählen auch Funktionen zur Audiosignalanalyse und Sprachverarbeitung sowie Spracherkennung.

Die in Hardware realisierten Sicherheitsfunktionen umfassen sicheres Booten von der Hardware-Root-of-Trust (RoT), vertrauenswürdige Ausführungsumgebung, Hardware-Kryptografieprozessoren, sicheren Speicher, Debug-Sicherheit, das Bereitstellen von Schlüsseln und geschützte Funkprotokolle.

Unterstützung durch Partner

Auf KI-Anwendungen spezialisierte Unternehmen wie:

  • SenseTime – für Gesichts-, Bild- und Objekterkennung,
  • Pilot.ai – für eine Vielzahl von Bildverarbeitungsaufgaben wie Erkennung, Klassifizierung und Verfolgung von Aktionen und Objekten sowie
  • MM Solutions – für Funktionen zu Verbesserung der Bildqualität,

unterstützen bereits die Vision Intelligence Platform von Qualcomm.

Muster der beiden SOCs QCS605 und QCS603 sind verfügbar – in mehreren Versionen. Ebenso bietet Qualcomm bereits ein Referenzdesign für eine 360°-VR-Kamera auf der Basis des QCS605 an, das zusammen mit der Altek Corporation entwickelt wurde. Referenzdesigns für Industrie-Sicherheitskameras auf der Basis des QCS603 sollen in der zweiten Hälfte des Jahres 2018 folgen.