Brainchip: 2. KI-Plattform

KI für »jedermann«

11. April 2023, 13:46 Uhr | Iris Stroh

Grundsätzlicher Aufbau der Akida-Architektur

Brainchip hat die zweite Generation seiner Akida-Plattform mit drei IP-Cores vorgestellt, mit der das Unternehmen Embedded-KI-Applikationen im Edge (AIoT) adressiert, die einerseits eine hohe Leistung benötigen, deren Leistungsaufnahme aber andererseits im Sub-Watt-Bereich liegen muss.

Laut Nandan Nayampally, Chief Marketing Officer von Brainchip, erfüllt die neue Akida-Plattform alle Anforderungen, die notwendig sind, damit Entwickler sehr effiziente und intelligente Edge-Geräte realisieren können – ein durchaus interessanter Markt, zumindest laut der Prognose von Forbes Business Insights: Das Unternehmen beziffert das Volumen mit Anwendungen und Dienstleistungen im AIoT-Bereich auf 1,2 Billionen Dollar im Jahr 2030.

Dass immer mehr Intelligenz ins Edge wandert, hat viele bekannte Gründe wie schnellere Reaktionszeit bzw. verringerte Latenzen, Schutz der Privatsphäre, Security, keine Probleme mit Netzausfällen oder -überlastungen. Es gibt aber auch ganz handfeste, wirtschaftliche Überlegungen, die dazu führen, dass mehr Intelligenz im Edge gefordert wird. In diesem Zusammenhang verweist Nayampally beispielsweise auf Kosten, die in der Fertigung aufgrund ungeplanter Ausfallzeiten entstehen. »Deloitte beziffert diese Kosten allein in den USA mit 50 Mrd. Dollar«, erklärt er weiter. Aber auch Gesundheitskosten und Produktivitätsverluste ließen sich mit mehr Intelligenz im Edge reduzieren, und hier sind die Kosten sogar noch höher. Nayampally zitiert in diesem Zusammenhang Zahlen, die bei www.fightchronicdisease.org gelistet sind: Jährlich entstehen Produktivitätsverluste in den USA in der Höhe von 1,1 Billionen Dollar, und zwar aufgrund von Personen, die an chronischen Krankheiten leiden. Mit KI können die Krankheiten zwar nicht geheilt, aber es kann rechtzeitig eingeschritten werden, sodass die betroffenen Menschen damit besser umgehen können. Für ihn sprechen aber noch zwei weitere Gründe für mehr Intelligenz im Edge: die Kosten, um Modelle in der Cloud zu trainieren. Hier verweist er auf Zahlen von spectrum.ieee.org, die 6 Mio. Dollar veranschlagen, um ein High-End-Modell zu trainieren. »Bei diesen Kosten versucht jeder zu vermeiden, dass er noch einmal von vorne anfangen muss«, so Nayampally weiter. Und als Letztes verweist er auf die schiere Menge an Daten, die generiert werden: »Ein intelligentes Fahrzeug von heute erzeugt laut Forbes 1 TB an Daten pro Tag«, sagt Nayampally. Je mehr davon vor Ort verarbeitet werden, je weniger also in die Cloud geladen werden müssen, umso besser; also ist es gut, wenn nicht alle Daten in die Cloud geladen werden müssen, sondern ein Teil vor Ort verarbeitet werden kann.

»PwC prognostiziert, dass KI bis 2030 etwa 15 Mrd. Dollar für das weltweite BIP beitragen wird. Aber das wird nicht alles aus der Cloud kommen, sondern die mehr als 1 Mrd. intelligente Geräte im Edge tragen ebenfalls dazu bei«, so Nayampallys Überzeugung. In diesem Zusammenhang verweist er auf die bereits erwähnten 1,2 Mrd. Dollar, die Forbess Business Insights für Produkte und Dienstleistungen im AIoT-Bereich für 2030 prognostiziert. Geht es nur um KI-Prozessoren für das Edge, besagt eine Prognose aus dem VDC Research Edge AI Hardware Report 23, dass er im Jahr 2030 35 Mrd. Dollar betragen wird.

KI im Edge muss energieeffizient sein

Nayampally ist überzeugt, dass die IP-Cores aus der zweiten Akida-Generation helfen, dass diese Prognosen Realität werden. Akida 2.0 basiert auf denselben Ansätzen wie die erste Akida-Plattform, es handelt sich also um neuromorphe Prozessoren, die nicht mithilfe von Analogtechnik realisiert, sondern rein digital implementiert werden. Neuromorphe Prozessoren orientieren sich an den Funktionsprinzipien und der Leistungsfähigkeit des Gehirns und sind deshalb deutlich energieeffizienter als andere Architekturen, denn sie rechnen nur, wenn es notwendig ist, weshalb Brainchip seine Architektur auch als Event-basiert bezeichnet. Die von Brainchip genutzte Architektur bezeichnet Nayampally als »Temporal Event-based Neural Networks«, kurz: TENN. Sie verfügt über Knoten, die aus neuronalen Recheneinheiten und dem dazugehörigen Speicher bestehen, die wiederum über ein intelligentes Netz (Mesh) verbunden sind, das nicht nur die Verbindung zwischen den Knoten übernimmt, sondern auch weiß, wie die nächsten Knoten getriggert werden müssen. Dazu kommt noch ein lokaler Scratchpad-Speicher und zwei DMA-Controller. »Mit diesem Ansatz lässt sich die Leistungsaufnahme deutlich reduzieren, wir sprechen hier von mehreren Größenordnungen – im Edge ein entscheidender Faktor«, so Nayampally. Akida mit TENN hat entscheidende Vorteile, wenn es beispielsweise um die Verarbeitung von rohen Audiodaten geht, denn »mit Akida ist keine zusätzliche Filterung oder DSP-Hardware notwendig, um die Audiosignale zu verarbeiten, TENN kann direkt mit den rohen Audiodaten gefüttert werden.« Wird das IP auf Basis eines 28-nm-Prozesses gefertigt, punktet das IP mit weniger als 2 µJ/Inferenz. »Und das in Kombination mit einer höheren Genauigkeit und kleinerem Speicherbedarf im Vergleich zu heutigen Alternativen mit MFCC (Mel Frequency Cepstral Coefficients) und DSCNN (Depthwise Separable Convolutional Neural Network)«, erklärt Nayampally. Und: »TENNs ermöglichen radikal einfachere Implementierungen, indem sie die Rohdaten direkt von den Sensoren abrufen, was die Modellgröße und die durchgeführten Operationen drastisch reduziert und gleichzeitig eine sehr hohe Genauigkeit gewährleistet. Dadurch können die Designzyklen verkürzt und die Entwicklungskosten drastisch gesenkt werden.«

»Außerdem ist es mit unserer Akida-IP-Plattform möglich, auf dem Baustein weiter zu lernen, ohne dass ein erneutes Training in der Cloud notwendig ist.« Und: »Unsere IP-Cores zeichnen sich durch eine sehr gute Performance bei gleichzeitig extrem hoher Energieeffizienz aus, und das gilt auch für komplexe Modelle. So kann zum Beispiel ein Modell wie RESNET-50 komplett auf dem neuronalen Prozessor laufen, ohne die Haupt-CPU zu beanspruchen.« Außerdem unterstützen die IP-Cores von Brainchip »Spatial-Temporal Convolutions«, wodurch die Verarbeitung von zeitkontinuierlichen Rohdaten verbessert wird, ein wichtiger Pluspunkt, wenn es beispielsweise um Video-Analyse, die Analyse von MRT- und CT-Scans oder eine vorausschauende Wartung geht. »Damit erreichen wir im Edge eine höhere Genauigkeit, während die Modellgröße und der Footprint verringert werden«, erklärt Nayampally weiter. Und ein weiterer entscheidender Pluspunkt: »Unser IP unterstützt auch Transformer für die Bildverarbeitung in Hardware, das heißt, mit unserem IP lässt sich die Leistungsfähigkeit von Vision-Anwendungen deutlich erhöhen und das bei einer wirklich geringen Leistungsaufnahme«, so Nayampally.