Sensorfusion und Perception

Wie lassen sich die Herausforderungen meistern?

24. März 2022, 9:32 Uhr | Von Pierre Olivier, CTO von LeddarTech

Mit LeddarVision! LeddarVision ist eine anderen Systemen gegenüber überlegene Plattform für die Rohdatenfusion und Wahrnehmung (Perception). Damit lassen sich zuverlässige und sichere ADAS- und AD-Anwendungen realisieren.

Was ist Sensorfusion, was ist Perception? Bei der Sensorfusion werden Daten von mindestens zwei Sensortechnologien zusammengeführt. Perception wiederum, also Wahrnehmung, bezieht sich auf die Verarbeitung und die Interpretation der Sensordaten, um Objekte zu erkennen, zu identifizieren und zu klassifizieren. Sensorfusion und Perception machen es möglich, dass ein autonomes Fahrzeug ein 3D-Modell der Umgebung erstellt, das in die Steuereinheit des Fahrzeugs einfließt.

Derzeitige Schwierigkeiten bei der Sensorfusion und Perception

Heutige Perception-Ansätze sind in Hinblick auf ihre Leistungsfähigkeit, Skalierbarkeit und Flexibilität sehr eingeschränkt.

Sensorfusionssysteme von heute führen eine Fusion auf Objektebene durch, wobei jeder Sensor (z. B. Radar, Kamera, Lidar) mit seinen eigenen, inhärenten Einschränkungen Objekte einzeln identifiziert und klassifiziert. Das führt zu einer schlechten Leistung und ist nicht der optimale Ansatz, weil keine einzige Sensortechnologie alle Objekte unter allen Bedingungen erkennen kann.
Werden die Sensordaten nicht fusioniert, kann das System außerdem widersprüchliche Eingaben von den Sensoren erhalten. Damit ist es für das System unmöglich, eine erforderliche Aktion mit einem gewissen Grad an Sicherheit festzulegen und auszuführen. Wenn beispielsweise ein Objekt von einer Kamera erkannt wurde, aber nicht vom Lidar oder Radar, zögert das System bei der Entscheidung, ob das Fahrzeug anhalten sollte, was zu einem möglichen Unfall führen kann. Jeder Sensor hat seine Grenzen. Die Tabelle gibt einen Überblick.

Heutige Systeme für Sensorfusion und Perception sind auf die Kamera ausgerichtet, das heißt, dass die Daten anderer Sensortechnologien typischerweise auf Objektebene mit den Kameradaten fusioniert werden. Allerdings weisen diese kamerabasierten, zweidimensionalen Ansätze bei schlechten Lichtverhältnissen in Hinblick auf Positionierungsgenauigkeit, Objektgröße und -orientierung sowie Objekterkennung schlechte Leistungsparameter auf.

Darüber hinaus sind heutige Systeme unflexibel. Denn aufgrund der engen Kopplung zwischen Sensor und Algorithmus ist es nahezu unmöglich, andere Sensorarchitekturen in dieselbe Plattform einzubinden. Bestehende Perception-Systeme sind an eine spezielle Hardware gebunden; damit sind sie unflexibel, bieten nur eine begrenzte funktionale Transparenz und erfordern einen hohen Programmier- und Überarbeitungsaufwand, um andere Sensoren einzubinden. Zusammengefasst bedeutet das, dass Black-Box-Ansätze folgende Nachteile aufweisen:

Ineffizient
Unflexibel
Nicht skalierbar, um höhere SAE-Level für das autonome Fahren zu erreichen
Unfähig, eine wachsende Anzahl und steigende Vielfalt von Anwendungsfälle und Funktionen zu bewältigen.

Zukunft der Sensorfusion und Perception

Um die Einführung von ADAS und AD-Systemen zu beschleunigen, müssen Sensorfusions- und Perception-Systeme die entsprechende Leistungsfähigkeit, Flexibilität, Skalierbarkeit und Zuverlässigkeit aufweisen.

Leistungsfähigkeit: Höhere Autonomiestufen erfordern ein höheres Maß an Genauigkeit und Präzision bei der Objekterkennung, -klassifizierung und -verfolgung, der Erkennung von Freiräumen, Fahrspuren und der Umgebungsmodellierung. Genau diese Vorgaben lassen sich mit der Fusion von Sensorrohdaten erreichen. Denn bei diesem Ansatz werden die Rohdaten von allen verfügbaren Sensoren des Fahrzeugs kombiniert und fusioniert, sodass das Perception-System mit umfassenden Objektdaten gefüttert wird und es Objekte genau erkennen und klassifizieren kann.
Flexibilität: Traditionelle, bestehende Perception-Systeme sind um die Kamera herum aufgebaut. Zukünftige Perception-Ansätze müssen aber so ausgelegt sein, dass auch andere Sensorarchitekturen auf derselben Plattform eingebunden werden können, um genau das gewünschte Autonomieniveau zu erreichen. Damit ist ganz klar, dass zukünftige Perception-Systeme mit jedweder Kombination von Sensoren arbeiten können müssen, ohne dass die Algorithmen für die Perception neu oder umgeschrieben werden müssen.

Skalierbarkeit: Fahrzeuge mit unterschiedlichen Autonomiestufen werden nebeneinander existieren, weil ADAS und AD-Ansätze ständig weiterentwickelt werden. Damit ist es von entscheidender Bedeutung, dass Sensorfusions- und Perception-Systeme für L2 bis L5 auf einer gemeinsamen Plattform entwickelt werden können. Denn nur dann können OEMs die technischen Spezifikationen, die Produktqualität und das Fahrerlebnis konsistent halten. Eine skalierbare Perception beschleunigt die Einführung von ADAS und AD.

Zuverlässigkeit: Die Zahlen des IIHS (Insurance Institute for Highway Safety) besagen, dass sich 2020 die Anzahl der Unfalltoten pro 100.000 Menschen in den USA im Vergleich zu vor 40 Jahren halbiert hat. Safety steht nach wie vor an erster Stelle, und zwar sowohl bei den Käufern als auch bei den OEMs. Dementsprechend ist es nicht verwunderlich, dass das Vertrauen in autonome Systeme auf Safety, Zuverlässigkeit und Leistungsfähigkeit beruht. Lösungen zur Sensorfusion und Perception müssen in Bezug auf Leistungsfähigkeit, Safety und Qualität zuverlässig sein, wenn ADAS und autonome Fahrzeuge den Durchbruch schaffen sollen.