Inwieweit lassen sich die erfassten Daten der diversen Sensorarten fusionieren?
Die Daten von 3D-Kameras und Lidar lassen sich scheinbar leicht fusionieren, aber das erfordert umfassendes technologisches Know-how. Vereinfacht dargestellt lässt sich diese sinnvolle Datenfusion durchführen: Beide liefern 3D-Punktewolken, von den Lidar-Systemen bekomme ich die Entfernungsinformationen, und dann „färbe“ ich die Bildinformationen mit den Lidar-Werten. 3D-Kameras und Lidar gehen also arbeitsteilig vor: Beide liefern 3D-Punktewolken; 3D-Kameras zeigen das Hindernis an sich, und Lidar ermittelt, wie weit es entfernt ist. Die Daten zusätzlicher inertialer Messsysteme mit Beschleunigungs- und Drehratensensoren können dann zeigen, wie weit sich ein Fahrzeug zwischen zwei 3D-Punktewolken oder 3D-Karten bewegt hat. Inertiale Messsysteme geben ein Bewegungsmuster aus; sie arbeiten sehr schnell, zeigen aber eine Drift mit der Zeit. Kameras weisen nur wenig Drift auf, woraus sich der Nebeneffekt ergibt, dass ich durch die Kombination von 3D-Punktewolken und Daten des inertialen Messsystems mit seiner hohen Abtastrate die Drift herausrechnen kann.
Man sieht: Die Fusion der Daten mehrerer Sensoren ermöglicht detaillierte Umfeldmodelle. Mittels 3D-Bildverarbeitung und Lidar lassen sich Art und Entfernung von Objekten feststellen, die Kombination von Lidar und Radar zeigt Entfernung und relative Geschwindigkeit, und aus der Datenfusion von 3D-Bildverarbeitung, Lidar und inertialem Messsystem lässt sich die eigene Bewegung bestimmen. Sensorfusion ermöglicht also, das Beste aus allen Methoden zu kombinieren, und ist wesentliche Grundlage für hochautomatisiertes Fahren.
Man erfasst und kombiniert also permanent eine riesige Menge von Daten, aber wie verarbeitet man sie so, dass das hochautomatisierte Fahrzeug in Echtzeit darauf reagieren kann?
Das ist ein sehr wichtiges Thema: Wie gelange ich von Daten zu Informationen und von Informationen zu Entscheidungen? Je eher es mir gelingt, die Datenmenge zu reduzieren, also von Big Data zu Smart Data zu gelangen, desto eher kann ich dem Anspruch gerecht werden, dass alles schnell vonstattengeht. Und natürlich brauche ich dafür sehr viel Rechnerleistung.
Wie schon erläutert, erstellt das Fahrzeug mittels Sensorfusion ein Umfeldmodell: Wo ist es, was befindet sich in seiner Umgebung, wohin bewegt es sich? Dann folgt die Regelung seiner Aktoren: Gas geben, bremsen und lenken mitsamt Analyse, wie sich die anderen Verkehrsteilnehmer momentan verhalten. Beim Parksensor ist dies noch einfach – er agiert normalerweise in einer relativ statischen Umgebung. Technisch anspruchsvoll wird es bei höheren Geschwindigkeiten: Das System muss dann einschätzen können, wohin Personen gehen oder laufen werden – vom Gehweg auf die Straße oder zu einer anderen Person auf dem Gehweg? Es muss also auch vorhersagen können, was die anderen Verkehrsteilnehmer tun werden, sprich: was in der unmittelbaren Zukunft geschehen wird. Weil kein Computer in die Zukunft blicken kann, wird mit statistischen Methoden die Wahrscheinlichkeit der verschiedenen Szenarien geschätzt.
Welche technischen Kniffe könnten dabei helfen?
In Zukunft werden Autos miteinander „reden“ können. Mit Stichworten wie „Car to X“ oder „Connected Car“ ist dies schon in der Diskussion. Wenn Autos miteinander „reden“, können sie beispielsweise in einer Kolonne automatisch hintereinander herfahren, indem sie jeweils die Sensordaten auswerten und untereinander austauschen - und dann entsprechend reagieren. Dies ist allerdings noch nicht der gegenwärtige Stand der Technik, ebenso wie aus Situation A und Situation B Entscheidungen für Situation C zu folgern. Technische Systeme sind aktuell nur eingeschränkt in der Lage, unbekannte Situationen anhand ihres Wissens über andere Situationen zu analysieren und zu bewerten. Für diese Herausforderungen entwickeln wir Lösungen. Im ESG Mobility Innovation Center erarbeiten wir Wissen und Know-how zu Zukunftstechnologien, beispielsweise auf dem Gebiet der künstlichen Intelligenz (KI).