Dr.-Ing. Ron Melz, Leiter Entwicklungsmethodik/künstliche Intelligenz automatisiertes Fahren bei Audi, argumentiert ähnlich wie Angerer. Auch er erklärt, dass es in sicherheitskritischen Anwendungen immer wichtig ist, die Komponente zu kennen, in der der Fehler aufgetreten ist. Also gehe man so oder so her und zerlege das System bzw. die sicherheitskritische Wirkkette soweit wie möglich in Einzelkomponenten, die dann einzeln abgesichert werden können, sodass auch die Gesamtintegration sowie die Verifizierung des Gesamtsystems einfacher sind. Diese Vorgehensweise gelte auch weiterhin.
Geht es um Maschinenlernen (ML), stößt die Industrie aus seiner Sicht aber an eine Grenze. Zwar bestätigt auch er, dass Random Forest nachvollziehbar ist, aber bei tiefen neuronalen Netzen sieht die Sache anders aus. In dem Fall sind nur die Anfangsschichten, sprich: die Convolutional Layers, interpretierbar, die tieferen Schichten sind nicht mehr nachvollziehbar. Laut Melz gibt es aber auch in diesem Fall mehrere Ansätze, wie der Entwickler damit umgehen kann. Ein Weg besteht im „Verification by Design“-Ansatz. Dabei wird quasi mithilfe einer klassischen Methode ein Datenkäfig erstellt, mit dem überwacht werden kann, ob die Ergebnisse, die das neuronale Netz liefert, innerhalb dieses Käfigs liegen. Liegen sie außerhalb, ist klar, dass irgendetwas im neuronalen Netz schief läuft. Eine andere Möglichkeit besteht darin, dass man das neuronale Netz nimmt und damit einen anderen Klassifizierer trainiert, von dem genau bekannt ist, was er macht, wie beispielsweise Random Forest.
Melz weiter: »Wir brauchen also eine Wirkkette, die in Module zerlegt wird. Entlang dieser Wirkkette kann dann zurückverfolgt werden, wo der Fehler zum ersten Mal aufgetreten ist, und damit kann ich die Fehlersuche eingrenzen.« In dieser Wirkkette sind klassische Komponenten und auch gelernte Komponenten vorhanden und bei den gelernten Komponenten ist es eben schwierig, den Fehler genau zu lokalisieren. Aber auch Melz verweist darauf, dass diese Komponente auf jeden Fall neu trainiert und erneut abgesichert werden kann, die Möglichkeit bestehe immer. Melz weiter: »Wie auch in tieferen Schichten eine Nachvollziehbarkeit erreicht wird, befindet sich noch in der Forschung. Es steigt langsam das Interesse, dieses Problem zu lösen.« Aber bislang seien ihm keine Durchbrüche bekannt. Diese Technologie stecke noch in den Kinderschuhen, »aber ich bin überzeugt, dass es machbar ist«, so Melz.
Angerer sieht zukünftig noch ein weiteres Problem. Heute tritt vielleicht ein Fehler auf, wie beispielsweise ein unerwarteter Linksausschlag. »In Zukunft wird es eine Kette von Fehlentscheidungen geben, die jede für sich schon unglücklich war.« Damit wird es also noch schwieriger zu bestimmen, was jetzt wirklich der für ein Fehlverhalten auslösende Fehler war. Doch in dem Fall ist Melz überzeugt, dass das kein KI-spezifisches Problem ist. Bei komplexen Wirkketten ist es auch heute so, dass die zwar sauber durchgetestet werden, einschließlich verschiedener Variationen, »aber die komplette Mannigfaltigkeit aller Möglichkeiten zu testen ist nicht machbar«, so Melz. Dementsprechend könne mit Testen niemals bewiesen werden, dass kein Fehler auftritt, sondern nur gezeigt werden, »dass innerhalb des umspannten Testraums kein Fehler gefunden wurde, und das ist eine völlig andere Aussage«, betont Melz abschließend.