ADAS und autonomes Fahren

Mit Sensordatenfusion die Zukunft vorhersagen

22. Mai 2023, 11:45 Uhr | Autor: Dr. Eric Richter, Redaktion: Irina Hübner

Typisches Szenario für die Aktivierung des Notbremsassistenten.

Sensordatenfusionssysteme verwenden einen großen Teil ihrer Ressourcen darauf, die Zukunft vorherzusagen. Deren ausgeklügelte Algorithmen machen den sicheren Betrieb von Fahrerassistenzsystemen und autonomen Fahrzeugen erst möglich.

Für fortschrittliche Fahrerassistenzsysteme (ADAS) und automatisiertes Fahren ist eine korrekte Wahrnehmung der Fahrzeugumgebung unabdingbar. In diesem Zusammenhang werden häufig Kamerabilder inklusive erkannter Objekte gezeigt, die von hochentwickelten, auf künstlicher Intelligenz (KI) basierenden Erkennungsmethoden stammen.

Aus menschlicher Sicht erwecken solche Bilderkennungen oft den Eindruck, dass das Problem gelöst ist und dass eine Maschine nun entscheiden könnte, wie das Auto weiterfahren soll. Im Vergleich zu den derzeit verfügbaren Maschinen kann der Mensch jedoch viel mehr Kontextinformationen aus einem einzigen Bild extrahieren. So kann ein Mensch beispielsweise erkennen, dass ein Fußgänger offensichtlich zu einem Taxi eilt und die Straße unvermittelt überqueren wird, sodass eine Vollbremsung angebracht sein könnte.

Vorhersagen sorgen für Sicherheit

Damit eine automatisierte Fahrfunktion wie der autonome Notbremsassistent (AEB) mit ihren begrenzten Erkennungsfähigkeiten ähnlich reagieren kann, muss sie nicht nur wissen, wo sich ein Objekt gerade befindet, sondern auch, wo es sich in unmittelbarer Zukunft befinden wird: Die Position des Objekts muss für diese nahe Zukunft also vorhergesagt werden.

Bild 1 zeigt ein anspruchsvolles Szenario zum Schutz von Fußgängern in Anlehnung an den AEB-Testkatalog des Euro NCAP (European New Car Assessment Programme): Der Fußgänger muss als gefährdet erkannt werden, noch bevor er die Fahrbahn betritt, damit das Fahrzeug eine sichere Notbremsung einleiten kann. Die Vorhersage der Bewegung des Fußgängers unter Verwendung verschiedener Verhaltensannahmen ist eine entscheidende Anforderung an das Sensordatenfusionssystem.

Diese Vorhersage wird aber nicht nur von der Fahrfunktion selbst genutzt, sondern hat auch massive Auswirkungen auf die Leistung des Sensordatenfusionssystems, das das Umfeldmodell liefert.

Was ist Sensordatenfusion?

Beim automatisierten Fahren gleicht die Kombination mehrerer unterschiedlicher Sensoren die Schwächen einzelner Sensoren aus; zum Beispiel erkennt eine Kamera Fußgänger besser als ein Radar, während ein Radar eine größere Reichweite hat. Die Umwandlung der verschiedenen Sensordaten in ein einheitliches Bild der Fahrzeugumgebung wird als Sensordatenfusion – oder kurz: Sensorfusion – bezeichnet.

Die Hauptaufgabe eines jeden Sensordatenfusionssystems besteht darin, die Sensorbeobachtungen oder -messungen mit den Erwartungen des Systems an diese Messungen zu vergleichen. Anhand der Unterschiede wird der Zustand des Systems angepasst oder aktualisiert.

Ein Beispiel: Ein Fahrzeug fährt vor uns, und das Sensordatenfusionssystem weiß bereits, dass das Fahrzeug etwa 50 m entfernt und 10 m/s langsamer als wir ist. Wenn ein Sensor dieses Fahrzeug 100 ms später beobachtet, könnte das Sensordatenfusionssystem das Fahrzeug in 49 m Entfernung erwarten, indem es die einfache Kinematik s = s₀ + v∙t verwendet – das sogenannte Bewegungsmodell. Wäre das Fahrzeug jedoch in Wirklichkeit 15 m/s langsamer als wir, würde die beobachtete Entfernung 48,5 m statt 49 m betragen. Aus der Differenz 49 m – 48,5 m = 0,5 m kann die Sensordatenfusion schließen, dass ihre anfängliche Geschwindigkeitsschätzung »falsch« war und stattdessen etwa 15 m/s = 10 m/s + 0,5 m/0,1 s betragen sollte – der Zustand des Systems wird aktualisiert.

Um den beschriebenen Aktualisierungsschritt durchführen zu können, müssen die Sensormessungen mit bereits bekannten Objekten verknüpft werden. Für diese Zuordnung werden alle Objekte zum Zeitpunkt der Messungen mithilfe des Bewegungsmodells vorhergesagt. Dann wird jede Messung mit dem Objekt verknüpft, dessen Vorhersage der Messung am nächsten liegt, und das Objekt wird mit dieser Messung aktualisiert. Die Qualität dieser Vorhersage ist entscheidend für die Assoziation und damit für die Gesamtleistung der Sensordatenfusion.

Angenommen, die Assoziation findet keine Messung in der Nähe eines vorhergesagten Objektes, oder sie wählt ein Objekt aus, zu dem die Messung aufgrund einer ungeeigneten Vorhersage nicht gehört. In diesem Fall werden die Objekte entweder nicht oder mit der falschen Messung aktualisiert, was wiederum zu ungültigen Objektzuständen wie einer falschen Objektposition führt. Häufig führt eine solche falsche Zuordnung zu einem Fehler bei der Sensordatenfusion und einem falschen Verhalten der Fahrfunktion. Das lässt sich aber vermeiden.