Erstmals ist es gelungen, nicht nur die Inferenz von künstlicher Intelligenz, sondern auch ihr Training komplett in Edge-Geräten durchzuführen. Ein Anschluss an die Cloud ist nicht erforderlich.
Der Trick gelingt mit der patentierten Entwicklungsplattform „NanoEdge AI Studio“, die die 2016 gegründete, in Toulon/Frankreich ansässige Firma Cartesiam entwickelt hat. Mit dem ersten Integrated Development Environment (IDE) lassen sich jetzt schnell und einfach Machine-Learning-Algorithmen für Controller erstellen – was laut Firmenangaben 20 bis 50 Prozent an Entwicklungszeit und Kosten für KI-Systeme spart.
Statt komplexe Algorithmen von Experten entwickeln zu lassen, was schon mal bis zu zwei Jahre dauert, können Embedded-Software-Entwickler solche Systeme nun in Tagen bis Wochen erstellen. »Unsere Vision war es, KI auf die existierenden Controller zuzuschneiden, die in Edge-Systemen verwendet werden, und nicht Hardware für KI-Systeme zu entwickeln«, sagt Joël Rubino, Mitgründer und CEO von Cartesiam.
Einzige Voraussetzung: Edge-Geräte müssen auf Basis von Controllern mit ARM-Cortex-M-Kernen arbeiten, die zahlreiche Controller-Hersteller wie Analog Devices, Silicon Labs und STMicroelectronics anbieten. Auch nach dem Training und der Inferenz läuft die gesamte KI auf den Controllern, ohne dass dazu eine Verbindung zur Cloud erforderlich wäre.
Dass dedizierte KI-Chipsets nicht des Rätsels Lösung sein können, lernte Cartesiam durch eine schmerzliche Erfahrung. Zunächst nämlich setzte das Unternehmen auf die „Curie“-Chips von Intel. 2017 aber stellte Intel die Unterstützung dafür ein. Daraufhin entschied sich Cartesiam, künftig ausschließlich auf traditionelle Controller zu setzen, und da bot sich die ARM-Cortex-M-Familie an, weil es sich um die derzeit am weitesten verbreitete Architektur handelt und sich viele Embedded-Entwickler darin gut auskennen. Umgekehrt ist ARM daran interessiert, eine Firma wie Cartesiam darin zu unterstützen, dass Embedded-Software-Entwickler möglichst einfach KI in die Prozessoren bringen können, ohne selbst über umfangreiches KI-Wissen verfügen zu müssen. Resultat ist eine enge Zusammenarbeit zwischen ARM und dem französischen Startup.
Sehr anspruchsvolle Aufgaben wie Sprach- oder Bilderkennung können diese Systeme selbstverständlich nicht übernehmen, doch für zahlreiche Anforderungen im Industrie-4.0-Umfeld – Paradebeispiel: Predictive Maintenance – sind sie sehr gut geeignet. »Sie bedeuten einen Durchbruch im Machine Learning in Edge-Geräten, das war bisher nicht einmal ansatzweise möglich«, freut sich Rubino. »Wir können jetzt praktisch alle Probleme, die im Industrie-4.0-Umfeld auftauchen, mit unserem System lösen. Es ist sehr mächtig.«
Und er macht auf einen weiteren wichtigen Aspekt aufmerksam: »Der volle Wert des KI-Systems verbleibt im jeweiligen Controller-basierten Gerät und geht nicht zu den Cloud-Providern. Deshalb haben wir uns von Anfang an darauf konzentriert, das KI-System so aufzubauen, dass sogar das Training und nicht nur die Inferenz in den Controllern selbst ablaufen kann.«
Das funktioniert, weil die Algorithmen und NanoEdge AI Studio auf die begrenzte Rechenleistung der Controller optimiert sind. »Dazu war es erforderlich, die Algorithmen völlig neu zu schreiben und den Cortex-M-Controllern anzupassen«, erklärt François de Rochebouët, Mitgründer und CTO von Cartesiam. »Denn NanoEdge AI Studio ist selber intelligent: Wir bringen die Intelligenz in den Controller und lagern sie nicht in die Cloud aus.«
Das versetzt die Software in die Lage, aus rund 500 Millionen möglichen Kombinationen verschiedener Algorithmen diejenige auszuwählen, die für die jeweils zu lösende Aufgaben am besten geeignet sind. Dass dies gelingen kann – und zwar auf Basis eines einfachen Windows- oder Linux-PC und -Workstations – liegt an der ausgeklügelten Mathematik, die hinter dem System steckt. So beschäftigt Cartesiam zum größten Teil Mathematiker, wie François de Rochebouët erklärt: »Es handelt sich im Grunde um eine hochspezialisierte Suchmaschine, die die richtigen Signal-Processing- und ML-Algorithmen findet und jeweils optimal kombiniert.«