Startseite > Embedded > Software > »Transparent und unerklärlich zugleich«

Künstliche Intelligenz

»Transparent und unerklärlich zugleich«

6. September 2019, 14:50 Uhr | Joachim Kroll

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 3

Reinforcement-Learning: Neuronale Netze von selbst lernen lassen?

D&E: Neben dem Lernen mit Trainingsdaten gibt es das sogenannte Reinforcement Learning. Das ist ein Lernvorgang der auf Trial and Error basiert. Wie bringt man ein solches System dazu, das zu lernen, was es soll?

Tung: Man muss eine gute Strategie entwickeln und gute Lernergebnisse verstärken. Und das muss man sich sorgfältig überlegen, bevor der Lernvorgang beginnt. Zweitens muss das System konvergieren. Da ist der Mensch gefordert. Wenn man das System unbeaufsichtigt lässt und es zwischen verschiedenen Zuständen schwankt, dann wird es sich höchstwahrscheinlich nicht in eine bestimmte Richtung entwickeln. Dann muss man die Regeln anpassen, und üblicherweise passiert das in mehreren Schritten. Aber wenn man da eine gute Strategie gefunden hat, arbeitet dieser Ansatz sehr effektiv. Es ist eigentlich ein ganz traditionelles Optimierungsproblem: Es gibt Erfolgskriterien, sie lassen das System arbeiten, und das Ziel ist, das beste Ergebnis zu erzielen, das den Erfolgskriterien am meisten entspricht.

Wir stehen da noch ganz am Anfang. Die Theorie des Reinforcement Learnings gibt es schon eine ganze Weile, aber die Werkzeuge wie unsere neue Reinforcement-Learning-Toolbox gibt es erst jetzt. Da muss man sich einarbeiten, es anwenden und Erfahrung damit sammeln.

D&E: Kann man Reinforcement-Learning universell einsetzen?
Tung: Die größten Chancen liegen in der Steuer- und Regelungstechnik. Mit der Toolbox geben wir diese Methode den Experten an die Hand. Die können nun ausprobieren, ob diese Methode besser ist als andere Methoden oder ob sie in bestimmten Situationen mit anderen Methoden kombiniert werden kann. Soll ich meine alten Methoden vergessen und meine Forschungsaktivitäten auf diese neue Methode konzentrieren? – Schließlich suchen die Ingenieure neue Methoden nicht, weil sie neu sind, sondern weil sie bessere Ergebnisse erzielen wollen. Die Reinforcement-Learning-Toolbox hilft ihnen dabei, Erfahrungen zu sammeln und eine Entscheidung zu treffen.

D&E: Zum Thema Performance: Sind GPUs die beste Architektur um Deep-Learning-Algorithmen auszuführen, oder wird dafür eine neue, optimierte Hardware-Architektur gebraucht?

Tung: Hm, einfache Frage, komplizierte Antwort. Es ist so ähnlich wie bei einem DSP-Algorithmus, also wenn sie natürliche Signale oder ein Bild verarbeiten wollen. Man kann dann sagen »bestens« hinsichtlich purer Performance, bestens hinsichtlich Frames pro Watt, habe ich es schon auf meinem Chip oder lohnt es sich, einen eigenen Chip dafür zu entwickeln? Das tatsächliche Optimum ist immer eine Schnittmenge, die alle diese Kriterien einbezieht.

Bei Deep Learning ist es genauso. Wenn ich nur die reine Performance ansehe, dann sind GPUs toll – sofern ich die nötige Power zur Verfügung habe. Wenn man Deep Learning als Teil eines anderen Prozesses ablaufen lässt, zum Beispiel einer Steuerung, dann werden ihnen die Mikrocontroller-Hersteller empfehlen, einen ARM-Core zu nutzen, denn es gibt ihn bereits und man kann einen Teil der Ressourcen für das Deep Learning abzweigen, denn die Hauptaufgabe ist nicht der Lernvorgang, sondern die Steuerung. Besonders im Embedded-Bereich spielen die Kosten eine große Rolle, ebenso wie die Energieaufnahme. Es ist also ähnlich wie beim DSP: Wenn ich mich bei Deep Learning frage, ob sich der Einsatz eines FPGA lohnt, dann stellt sich die Frage, weiß ich, wie ich den HDL-Code entwickele? Wie ich ihn verifizieren kann? Brauche ich einen Experten dafür? Hat mein Entwicklungsteam das nötige Know-how dafür? »Besser« ist nicht nur ein Kriterium der Performance, sondern auch Kriterium, das das Know-how des Entwicklungsteams betrifft und wie Komplex der Entwicklungsvorgang wird. Da sind Menschen involviert, Tools, Arbeitsabläufe. Und es hängt davon ab, womit ich schon Erfahrung habe.

D&E: Auf welchen Gebieten legt Math-works derzeit Schwerpunkte seiner Forschung und Entwicklung, auch abseits der Künstlichen Intelligenz?

Tung: Forschung ist eine eigenartige Welt, denn vieles, was wir da machen, ist buchstäblich keine Forschung. Unsere Kunden sind vielfach Forscher und sie denken sich neue Wege aus. Wir bauen für sie die Werkzeuge, damit sie ihre Forschung schneller und effektiver machen können.

Wir beschäftigen uns viel mit Techniken und integrieren sie, wir stoßen in Bereiche vor, mit denen wir früher nicht in Verbindung gebracht wurden, wie zum Beispiel Text. Unsere traditionelle Welt waren Zeitreihen-Daten, dann Bilder, jetzt auch Text, denn viele der Daten, die heute zu verarbeiten sind, sind »Multi-Mode-Daten«. Wir müssen viele unterschiedliche Sensordaten zusammenführen: Radar, Lidar, Bilddaten.
Ein wichtiges Anliegen ist uns auch, die Zusammenarbeit in der Cloud zu erleichtern. Nicht weil es neu ist, sondern weil unsere Kunden die Hebelwirkung der Cloud nutzen wollen, um ihre Entwicklungsprozesse zu verbessern. Da ist die Frage, wie lässt sich das effizient realisieren. Brauche ich eine Lizenz für jede Instanz in der Cloud? – Das können schnell hunderttausende sein. Deswegen haben wir unser Lizenzmodell geändert, weil wir gemerkt haben, dass cloud-basierte Simulation etwas sein sollte, das jeder nutzen kann.

Mit dem neuen Cloud-Modell haben wir einen Weg gefunden, um die Cloud-Nutzung deutlich zu erleichtern. Man kann hunderte Instanzen nutzen oder auf Millionen erweitern, ohne dann mehr zu bezahlen. Wir passen uns damit neuen Arbeitsabläufen an und wollen das, was bisher als ungewöhnlich galt, zu einem etablierten Trend machen. Das ist das was dieser Tage in unserem Fokus steht: die Zugänglichkeit und die Integration zu verbessern.

D&E: Vielen Dank, Herr Tung, dass Sie sich die Zeit genommen haben!