BrainChip

Welche Deep-Learning-Methode ist die Beste?

25. August 2021, 8:55 Uhr | Heinz Arnold

Der »Akida« von BrainChip

Transfer Learning oder Incremental Learning? BrainChip vergleicht die beiden Methoden im Hinblick auf den Einsatz in Edge-Geräten.

Neuronale Netze zu trainieren, ist mit einem hohen Aufwand verbunden und erfordert hohe Rechenleistungen. In der letzten Zeit haben sich zwei Methoden herauskristallisiert, die den Lernvorgang effektiver machen: Transfer-Learning und inkrementelles Lernen. Die Experten von BrainChip, Hersteller von KI-Chips auf Basis von Spiking Neural Networks (SNN), haben beide Methoden untersucht.

Beim Transfer-Learning wird das Wissen, das in einem zuvor trainierten KI-Modell erworben wurde, in ein neues Modell »importiert«. Es handelt es sich also um eine Abkürzung: Ein vortrainiertes Modell – ein Open-Source-Bild- oder NPL-Datenpaket – kann um neue Objekte erweitert werden, um das neue Modell auf bestimmte Szenarien hin zuzuschneiden.

Der Nachteil dieser Methode besteht in der mangelnden Genauigkeit, die daraus resultiert. Um das vortrainierte Modell auf die neuen Aufgaben genau einzustellen, sind große aufgabenspezifische Datenmengen erforderlich. Weil auf der Ebene der einzelnen Schichten des neuronalen Netzes im vortrainierten Modell gearbeitet werden muss, sind spezielle Machine-Learning-Kenntnisse, Tools und die Zusammenarbeit mit den Service-Anbietern unumgänglich.

Wenn es um Edge-KI-Anwendungen geht, müssen Daten für das neue Training in die Cloud gebracht werden. Das kann mit Sicherheits- und Datenschutz-Anforderungen in Konflikt geraten. Tauchen neue Informationen auf, die gelernt werden sollen, nachdem das neues Modell trainiert wurde, so muss der gesamte Trainingsprozess wiederholt werden. Das ist für KI-Edge-Anwendungen ein großes Problem, weil die Geräte ständig auf Änderungen in ihrer Prozessumgebung angepasst werden müssen.

»Das größte Problem besteht darin, zuerst einmal ein bestehendes Modell zu finden, dass sich als Ausgangspunkt für das neue Modell heranziehen lässt. Das wird meist nur für sehr einfache KI-Aufgaben der Fall sein. Und selbst dann sind genügend Samples erforderlich, damit das neue Modell vernünftig trainiert werden kann«, sagt Anil Mankar, Chief Development Officer und Mitgründer von BrainChip. »Weil das neue Training in der Cloud stattfinden muss und danach das Ergebnis in das Gerät geladen wird, ist das Transfer-Learning immer noch ein komplexer und kostenintensiver Prozess – auch wenn es eine schöne Alternative für die Fälle darstellt, in denen es sich tatsächlich anwenden lässt.«

Inkrementales Lernen

Incremental Learning ist die zweite Möglichkeit, den Lernprozess effektiver zu gestalten. Der große Vorteil: Der Prozess des inkrementellen Lernens geschieht im Edge-Gerät selber, er muss nicht in der Cloud stattfinden. So ist permanentes Lernen möglich. Inkrementelles Lernen – auch »One-Shot-Learning« genannt – kann mit einer sehr kleinen Datenmenge beginnen und mit immer größer werdenden Datenmengen mehr Wissen gewinnen. Das führt zu einer höheren Genauigkeit. Weil der gesamte Lernprozess im Gerät selbst stattfindet, gibt es auch keine Probleme mit Datensicherheit und Datenschutz. »In den meisten KI-Projekten stehen zu Beginn weder großen Datenmengen noch der Zugang zur Cloud zur Verfügung, so dass der Auftraggeber bezahlen muss, sobald sich etwas ändert«, erklärt Mankar. »Deshalb empfehlen wir im allgemeinen immer inkrementelles Lernen, weil es die meisten Nachteile des Transfer Learning umgeht und deutlich niedrigere Kosten für Rechenzeit erfordert.«

BrainChip ist überzeugt, dass der »Akida«-KI-Chip, den das Unternehmen entwickelt hat, KI in einer anderen Art und Weise in Edge-Geräte bringt als alle anderen existierenden Methoden dies können. »Akida« erreicht eine hohe Rechenleistung, nimmt wenig Leistung auf, sitzt in einem kleinen Gehäuse und eignete sich für den Einsatz in ganz unterschiedlichen Edge-Geräten: Er kann im Smart-Home-, im Smart Health und im Smart-City-Umfeld genauso arbeiten wie in der Robotik oder Smart Transportation, um nur einige zu nennen.