NeurOSmart

LiDAR-Sensor mit neuromorpher Datenverarbeitung

10. November 2022, 6:53 Uhr | Iris Stroh
NeurOSmart
NeurOSmart ForscherInnen bei der Erfassung erster anwendungsspezifischer Trainingsdaten für die KI des Systems
© Fraunhofer

Im Fraunhofer-Leitprojekt NeurOSmart forschen fünf Institute (ISIT, IPMS, IMS, IWU, IAIS) gemeinsam an einem besonders energieeffizienten und intelligenten Sensor für die nächste Generation autonom agierender Systeme. Erste Ergebnisse sind auf der electronica zu sehen.

Nach knapp einem Jahr Projektlaufzeit präsentieren die Fraunhofer-Forscherinnen und Forscher auf der electronica das zu erwartende Sensorsystem und die hybride, neuromorphe Datenverarbeitungspipeline.

Aktuell geht der Trend für komplexe anspruchsvolle Anwendungen, wie etwa dem autonomen Fahren, zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung. Um dieser Eskalation entgegenzuwirken, setzen die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird und neue Ansätze der energieeffizienten Datenverarbeitung.

Der Grundgedanke des Vorhabens liegt darin, die Datenverarbeitung soweit es geht, direkt in den Sensor zu integrieren und durch aufeinander abgestimmte Komponenten möglichst energieeffizient zu werden.

Das erstrebte Resultat ist ein Entfernungssensor (LiDAR), welcher in einem Sichtfeld von 90° x 90° bei Arbeitsabständen bis zu 12 Metern, Objekte auf Basis individueller Pixel erkennt und klassifiziert. All dies in Echtzeit mit Bildwiederholraten von über 20 Hz und bei einem Energieverbrauch von ein paar 10 W. Damit kann dieses System als Sicherheitssystem für die Kollaboration zwischen Menschen und Industrierobotern und zukünftig auch für mobile Anwendungen genutzt werden kann.

Ermöglicht wird diese Leistungsfähigkeit durch eine Vielzahl an Innovationen im Bereich der Datenverarbeitung und Sensorik, die in diesem Vorhaben kombiniert werden.

Besonders hervorzuheben ist die Rohdatenaufbereitung und -vorverarbeitung, welche über die Verbindung des RISC-V Manycore-Clusters AIRISC-N mit dem embedded AI Framework AIfES eine integrierte Lösung für die energieeffiziente Berechnung von KI-Algorithmen auf eingebetteter Hardware in Echtzeit bietet. Auf diese Weise reduziert sich die Menge der zu interpretierenden Daten um einen Faktor von 10 und ermöglichen es, auch nur Teile der Szene zu beobachten (Region of Interest), was den Energieverbrauch erneut senkt und die Reaktionszeit erhöht.

Das Beste – die Fraunhofer Technologien des AIRISC Core und AI Framework AIfES sind kostenlos über GitHub erhältlich und können seit kurzem auch problemlos als vorkonfiguriertes System im Intel Pathfinder Shop heruntergeladen und in eigene Designs integrieret werden. Neben Anwendungen der Bildverarbeitung (LiDAR, Wärmebild, Visible) werden unter anderem auch Zeitreihen-Analysen (Akustisches Überwachung, Medizintechnik) und KI-basierte Prädiktionen (Predictive Maintenance, Ausfallvorhersage) mittels vorkonfigurierter Erweiterungen unterstützt.

Die weiterführende Dateninterpretation wird auf einem neuartigen Mixed-Signal-in-Memory-Beschleuniger umgesetzt, der mit einer erwarteten Energieeffizienz von mehr als 1000 TOPS/W heutige Alternativen um mindestens zwei Größenordnungen übertrifft. Das Herz des Beschleunigers sind ferroelektrische Feldeffekttransistoren (FeFETs), welche gleichermaßen Informationen speichern und verarbeiten können (in-memory compute). Auf diese Weise wird der energieaufwendige Engpass in der Kommunikation zwischen Speicher und Rechenkern aufgelöst und aufwendige KI-Verfahren können auch in mobilen Endgeräten realisiert werden.

Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung. Sie sind speziell auf den Sensor, auf neue Möglichkeiten der direkt integrierten Elektronik und auf ihre Anwendungen angepasst. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder cloudbasierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.


Das könnte Sie auch interessieren

Verwandte Artikel

Fraunhofer ISIT (Institut für Siliziumtechnologie), Fraunhofer IPMS (Institut für Photonische Mikrosysteme), Fraunhofer IMS (Institut für Mikroelektronische Schaltungen und Systeme