Interview mit Gaurav Tomar, MathWorks

3D-Simulationen für das autonome Fahren

1. Dezember 2021, 8:00 Uhr | Redaktion: Irina Hübner

Die Fahrzeuge von morgen, die das Ziel einer CO2-neutralen Mobilität erreichen sollen, werden autonom, elektrisch, vernetzt – und softwaredefiniert sein. Im Elektronik-automotive-Interview sprach Gaurav Tomar von MathWorks über die Bedeutung von 3D-Simulationen für das autonome Fahren.

Viele Unternehmen investieren in digitale Lösungen, um den Wandel von der Entwicklung der besten Fahrzeugtechnologie zur Bereitstellung modernster und umfassender Mobilitätskonzepte und digitaler Dienstleistungen zu vollziehen. Die zugrunde liegende Vision ist ein Benutzererlebnis, das weitgehend durch Software definiert sein wird. Um diese Vision zu verwirklichen, wandelt sich die Branche rund um Software als dem künftigen Treiber von Wertschöpfung. Diese Software wird unser Fahrzeug steuern, aber ebenso einen Tisch für uns in unserem Lieblingsrestaurant reservieren, während wir unsere geschäftlichen Telefonate erledigen – alles aus dem Fahrzeug heraus. Ein wichtiger Teil solcher Software ist das selbstfahrende System, das zuverlässig funktionieren muss, damit der Passagier (nicht mehr Fahrer) Zeit für andere Aktivitäten hat.

Elektronik automotive: Was sind die größten Herausforderungen, denen Entwicklerteams für autonome Fahrzeuge heute gegenüberstehen?

Gaurav Tomar: Der Bereich der Autonomen Fahrzeuge (AV) ist mit einer Reihe von Herausforderungen und Hindernissen konfrontiert, die es zu überwinden gilt, bevor das Autonome Fahren des Level 4 (L4) oder 5 (L5) möglich ist. Wie uns die letzte IAA gezeigt hat, sind einige Unternehmen der Bewältigung dieser Herausforderung näher als andere und werden schon bald auch in Europa mit Tests beginnen, nicht nur in den USA. Meiner Meinung nach stehen die Ingenieure in diesem Bereich vor folgenden Herausforderungen:

Nachzuweisen, dass das entwickelte selbstfahrende System ausreichend sicher, geschützt und zuverlässig ist. Für die Akzeptanz autonomer Fahrzeuge in der Öffentlichkeit ist das oberste Ziel, dass AVs auf der Straße keine Unfälle verursachen. Um dies in die Tat umzusetzen, sollte das selbstfahrende System in dessen Einsatzbereichen (Operational Design Domains, ODDs) zuverlässig und sicher funktionieren. Wie man ein selbstfahrendes System sicher und zuverlässig macht, ist deshalb die zentrale Herausforderung für AV-Teams.
Testen von Fahrzeugen in virtuellen Umgebungen, um auf diese Weise umfassende Szenarien für unterschiedlichste ODDs abzudecken. Es ist allgemein akzeptiert, dass eine Validierung des Verhaltens eines selbstfahrenden Systems ausschließlich unter realen Konditionen nicht realistisch ist. Ingenieure müssen daher selbstfahrende Systeme virtuellen Tests unterziehen, bei denen sie die Testläufe auf Tausende von parallelen Simulationen skalieren und so den Nachweis erbringen, dass ein selbstfahrendes System in allen denkbaren und wahrscheinlichen Szenarien für eine bestimmte ODD die richtigen Entscheidungen trifft.

Elektronik automotive: Welche Probleme löst die Fahrsimulation in 3D?

Gaurav Tomar: Unsere Beobachtungen – die wir im Rahmen unserer Zusammenarbeit mit allen großen Automobilunternehmen weltweit gemacht haben – zeigen, dass die Automobilhersteller sowohl die Fähigkeiten aufgebaut als auch den Reifegrad erlangt haben, um die Kernherausforderungen anzugehen. Allerdings haben sich genau diese Herausforderungen in jüngster Zeit durch den technologischen Fortschritt noch verschärft, der neue Architekturen sowie noch nie dagewesene Funktionsumfänge hervorgebracht hat, die oftmals auf einer Kombination anderer Funktionen beruhen. Die Tendenz in den beteiligten Unternehmen geht dahin, Embedded Software in großem Umfang virtuellen Tests zu unterziehen. Software für 3D-Fahrsimulationen unterstützt die Entwicklung virtueller Umwelten und Szenarien, in denen selbstfahrende Systeme getestet werden können. Dies hilft in erster Linie bei:

Der Beschleunigung von Entwicklungszyklen durch frühzeitige Closed-Loop-Tests der selbstfahrenden Systeme mit ihrer gesamten Wahrnehmungs- (perception), Planungs- und Steuerungssoftware.
Der Senkung von Entwicklungskosten durch virtuelle Tests und eine sichere Möglichkeit, sämtliche potenzielle Risiken und Gefahrenszenarien zu testen.
Der virtuellen Validierung von selbstfahrenden Systemen mithilfe realistischer 3D-Welten und so der Erfüllung der Anforderungen von ISO 26262 und SOTIF.

Elektronik automotive: Können Sie uns näher erläutern, welche Schritte zur Einrichtung einer solchen Fahrsimulation erforderlich sind?

Gaurav Tomar: Im Wesentlichen müssen dabei fünf Aufgaben abgearbeitet werden:

Erzeugung eines virtuellen Modells des Fahrzeugs. Hierfür werden häufig Tools wie Simulink verwendet.
Auswahl und Platzierung der richtigen Sensormodelle an diesem virtuellen Fahrzeugmodell. Wichtig ist hier, dass die gewählten Sensormodelle angemessene Realitätstreue besitzen, damit sie die 3D-Welt so wahrnehmen, wie der physische Prototyp die reale Welt wahrnehmen würde.
Aufbau realistischer Umgebungen mit Tools für die Erzeugung von 3D-Umwelten wie RoadRunner sowie die Sicherstellung, dass diese Umgebungen das angestrebte ODD des autonomen Fahrzeugs wirklich abbilden. Man braucht unter Umständen Zugriff auf HD-Karten und andere Hilfsmittel, die die gewählten Straßen und Umwelten genau beschreiben.
Entwicklung von Fahrszenarien auf Grundlage der Teststrategie. Um ein wirklich hochwertiges selbstfahrendes System zu generieren, sollten die simulierten Szenarien in möglichst hohem Maße reale Situationen widerspiegeln. Zu diesem Zweck setzen einige Unternehmen bereits Re-Simulations-Frameworks ein, bei denen virtuelle Szenarien mithilfe von Daten aus realen Testfahrten erstellt werden und anschließend das selbstfahrende System und das virtuelle Fahrzeug für sämtliche möglichen Varianten dieses Szenarios getestet werden.
Import der Umwelten, Szenarien und des virtuellen Fahrzeugmodells in eine Fahrsimulations-Software und Simulation des selbstfahrenden Systems.

Es ist wichtig zu wissen, dass die Erzeugung von Umgebungen, die Auswahl geeigneter Sensormodelle und der Entwurf von Szenarien, die alle in Frage kommenden und wahrscheinlichen Situationen abdecken, eine zeitaufwendige Aufgabe ist, die sich oft über Wochen, wenn nicht gar Monate hinzieht. Viele vorhandene Lösungen bieten nicht die Fähigkeiten zur effizienten Erschaffung von 3D-Welten, während die virtuelle Validierung weiterhin eine hohe Qualität von Umwelt und Artefakten fordert.

Elektronik automotive: Es sieht also so aus, dass der korrekte Aufbau von 3D-Umwelten für das Testen von selbstfahrenden Systemen von entscheidender Bedeutung ist. Wie baut man diese 3D-Welten heute auf?

Gaurav Tomar: Ja, ganz genau. Die Erstellung exakter 3D-Umgebungen ist ein zentraler Schritt der Fahrsimulation in 3D. Punktwolken-Scans der realen Welt, Ortho-Bildmaterial und andere Vektordaten helfen als Referenz bei der Gestaltung einer 3D-Welt. Ein einfacher Prozess zur Erzeugung solcher Welten mit einem Tool wie RoadRunner könnte so aussehen:

Matchmaker+ Anbieter zum Thema

zu Matchmaker+

Import einer Umgebungsreferenz aus einer der folgenden Quellen: Dem OpenDRIVE-Straßennetz, HD-Karten oder GIS-Assets, wenn eine reale Umgebung virtuell nachgebildet werden soll, oder man nutzt eine vorhandene virtuelle Umgebung.
Bearbeitung des Straßennetzes und der Spuren für das ausgewählte Gebiet, das sich oft über Dutzende oder Hunderte Kilometer erstrecken kann.
Erweiterung dieser 3D-Welt mit vorgefertigten Elementen wie Gebäuden, Vegetation, Straßenartefakten und so weiter.
Sicherstellung der Genauigkeit dieser Umwelt durch visuelle Referenzen wie Satellitenbilder.
Und schließlich der Export in RoadRunner erstellter 3D-Welten in Standardformate wie OpenDRIVE, FBX, glTF, OpenFlight, OpenSceneGraph, OBJ und USD.

Elektronik automotive: Was sind die besonderen Vorteile der Verwendung eines Tools wie RoadRunner für die Gestaltung von Umgebungen?

Gaurav Tomar: Die Verwendung eines speziellen Tools für den Entwurf von Straßennetzen und die Erstellung von Umwelten bietet eine ganze Reihe von Vorteilen. Die drei wichtigsten sind:

Die in RoadRunner erstellten Welten können problemlos in die gängigen Formate exportiert werden, die dann von den wichtigsten Fahrsimulatoren eingelesen werden können. Das macht die Teams sehr flexibel. Unternehmen, deren Geschäftsmodell in der Entwicklung solcher Welten besteht, können mit einem einzigen Tool viele Kunden bedienen.
Der RoadRunner Scene Builder ermöglicht die automatische Generierung von 3D-Straßenmodellen aus HD-Karten. RoadRunner-Welten lassen sich in eine Vielzahl von Simulatoren und Gaming-Engines exportieren, darunter CARLA, Vires VTD, NVIDIA DRIVE Sim, Cognata, Metamoto LGSVL, Baidu Apollo, Unity und Unreal Engine.
Mit der RoadRunner Asset-Library ist es möglich, 3D-Welten rasch mit einer umfangreichen Auswahl an realistischen und visuell konsistenten 3D-Modellen zu bestücken.

Elektronik automotive: Welche Informationen werden typischerweise von den Fahrsimulatoren benötigt?

Gaurav Tomar: In der Regel exportiert ein Tool zur Gestaltung von 3D-Umwelten zwei breitgefasste Kategorien von Daten. Zunächst das geometrische Netz, also etwa Straßen, Bordsteine, das Gelände und Objekte in dieser Umgebung. Diese Informationen werden von Sensormodellen wie Kameras, Lidar und Radar genutzt. Das zweite sind semantische Informationen, die üblicherweise in das OpenDRIVE-Format exportiert werden. Semantische Informationen werden gewöhnlich zur Entwicklung oder Validierung von Planungsalgorithmen verwendet.

Meiner Erfahrung nach arbeiten verschiedene Gruppen innerhalb eines Unternehmens oftmals mit unterschiedlichen Fahrsimulatoren. In solchen Fällen ist es von Vorteil, eine Möglichkeit zu haben, eine Umgebung einmal zu erstellen und dann als Basis für all diese Simulatoren zu verwenden.

Elektronik automotive: Wie wichtig sind in diesem Bereich die besonders detaillierten Karten?

Gaurav Tomar: Während die Automobilhersteller die einzelnen SAE-Level des Autonomen Fahrens sukzessive durchlaufen, betrachten die meisten AV-Teams heute HD-Karten als integralen Bestandteil der Infrastruktur für das Autonome Fahren. HD-Karten (oder hochaufgelöste Karten) bilden nicht nur Straßen und Fahrspuren hochgenau ab, sondern enthalten auch die exakten Positionen von Fußgängerüberwegen und Ampeln sowie Straßenkrümmungen, Kurvenradien, Hindernissen und vielem mehr. Diese Karten sind oft auf einen Zentimeter – oder sogar noch kleineren Abständen – genau. Autonome Fahrzeuge benötigen HD-Karten, um mit Widersprüchlichkeiten in den Wahrnehmungsalgorithmen umzugehen, genauso wie Menschen es tun, wenn sie einem Navigationssystem folgen.

Generell helfen HD-Karten auf folgende Weisen:

Lokalisierung: Als Referenz für das Umgebungsmodell, das der Algorithmus für die Wahrnehmung und Sensorfusion erzeugt.
Planung: Die detaillierten Informationen der HD-Karten helfen den Fahrstrategie-Funktionen bei der Planung von Routen auf der Grundlage des aktuellen Szenarios.
Softwaretests: Während der Softwareentwicklung helfen HD-Karten bei der Erstellung virtueller Szenen, die die reale Welt wiedergeben und zum Testen von selbstfahrenden Systemen verwendet werden können.

In den letzten zehn Jahren sind mehrere junge Unternehmen mit neuen Geschäftsmodellen für HD-Karten entstanden, die sich sowohl an Ingenieurteams als auch an Flottenbetreiber (die OEMs) richten. HD-Karten sind aber wegen der mit ihrer Erstellung und Pflege verbundenen Kosten noch nicht überall zu finden, da sie im Gegensatz zu den üblichen GPS-Karten in unseren Fahrzeugen nicht alle paar Monate, sondern alle paar Wochen überarbeitet werden müssten.

Elektronik automotive: Gibt es Anwendungsbeispiele von Kunden (Referenzen), von denen Sie berichten können?

Gaurav Tomar: Auf der diesjährigen MathWorks Automotive Conference sprach Porsche Engineering Services darüber, wie die Ingenieure des Porsche Engineering ADAS Testing Centre (PEVATeC) die besten Tools, Datenquellen und Erfahrungswerte in der Automobil- und ADAS-Branche bündeln, um eine flexible, modulare Simulationsplattform zu schaffen und bereitzustellen, die eine durchgängige ADAS/AD-Entwicklung unterstützt.

Elektronik automotive: Wie können 3D-Simulationen genau genutzt werden, um Algorithmen für das autonome Fahren zu trainieren?

Gaurav Tomar: Die Beschränkung aufgezeichneter Daten liegt darin, dass sie ausschließlich für genau das Szenario verwendet werden können, das auch aufgezeichnet wurde. Die Algorithmenentwickler benötigen zusätzlich zu ihren aufgezeichneten Daten auch synthetische Daten, um schwierige, gefährliche oder selten vorkommende Fälle zu testen. Mit geeigneten Kamera-, Lidar- und Radarmodellen sowie anderen Sensoren wie IMU und GPS können Ingenieure synthetische Daten (aus den 3D-Simulationen) erfassen, indem sie 3D-Umwelten in ihre Entwicklungsumgebung integrieren, beispielsweise mit MATLAB & Simulink. Die Entwickler würden außerdem gerne die aufgezeichneten Daten nachstellen, um Variationen des aufgezeichneten Falls testen zu können.

Elektronik automotive: Wenn Sie nach vorne blicken, wie sieht für MathWorks die nächste Zukunft in diesem Bereich aus?

Gaurav Tomar: Sowohl Trends in der Branche als auch konkrete Rückmeldungen von Kunden prägen die Investitionsstratigie von MathWorks. Zum einen ist das der Bedarf an virtuellen Welten. Die Industrie setzt außerdem verstärkt auf Simulationen, um weniger Fahrzeugtests vornehmen zu müssen und Szenarien zu erkunden, die in der realen Welt nur schwer oder mit Risiken für die Sicherheit im Verkehr reproduzierbar wären. MathWorks bietet Tools, mit denen sich Umwelten, Szenarien, Sensoren und Dynamiken entwerfen und simulieren lassen.

Der zweite für MathWorks investitionsbestimmende Trend ist der Bedarf an multidisziplinären Kompetenzen. Die Entwicklung einer Anwendung für das automatisierte Fahren erfordert eine Vielzahl von Kompetenzen von der Planung und Steuerungsystemen bis hin zu Disziplinen aus der Wahrnehmung wie Erkennung, Lokalisierung, Tracking und Datenfusion. MathWorks liefert dedizierte Toolboxen, die dabei helfen, diese Disziplinen zu erlernen und anzuwenden. Diese Toolboxen enthalten Metriken und Analysefähigkeiten, die durch den gesamten Entwicklungsprozess hindurch eingesetzt werden können.

Der dritte investitionstreibende Trend ist der Bedarf an Software. Unsere Investitionen konzentrieren sich hier auf die Optimierung unserer Plattformen und die domänenspezifischen Tools, mit denen man Embedded Software entwickeln und testen kann.

Das MathWorks-Produkt RoadRunner
Roadrunner ist ein MathWorks-Produkt, aber völlig unabhängig von anderen MathWorks-Produkten wie MATLAB und Simulink. Die RoadRunner-Familie umfasst drei Produkte. RoadRunner für die Gestaltung von 3D-Umgebungen, die Asset-Bibliothek mit Hunderten von 3D-Objekten, und den Scene Builder, der HD-Karten importieren, automatisch in RoadRunner-Straßen umwandeln um sie dann in Simulatoren exportieren kann. Eine der wichtigsten Funktionen von RoadRunner ist die Fähigkeit, Daten in verschiedene Formate und Simulatoren zu exportieren. In der Regel exportieren wir zwei Arten von Daten. Zum einen sind das geometrische Netze, also etwa Straßen, Bordsteine, das Gelände und Objekte in der Umgebung, und zum anderen semantische Informationen, die in der Regel als OpenDRIVE-Datei ausgegeben werden. Es könnten beispielsweise innerhalb eines Unternehmens zwei Teams mit jeweils unterschiedlichen Simulatoren arbeiten. Eine Umgebung wird dann nur einmal in RoadRunner erstellt, dient aber in beiden Simulatoren als Single Source of Truth.

Das MathWorks-Produkt RoadRunner

Roadrunner ist ein MathWorks-Produkt, aber völlig unabhängig von anderen MathWorks-Produkten wie MATLAB und Simulink. Die RoadRunner-Familie umfasst drei Produkte. RoadRunner für die Gestaltung von 3D-Umgebungen, die Asset-Bibliothek mit Hunderten von 3D-Objekten, und den Scene Builder, der HD-Karten importieren, automatisch in RoadRunner-Straßen umwandeln um sie dann in Simulatoren exportieren kann.

Eine der wichtigsten Funktionen von RoadRunner ist die Fähigkeit, Daten in verschiedene Formate und Simulatoren zu exportieren. In der Regel exportieren wir zwei Arten von Daten. Zum einen sind das geometrische Netze, also etwa Straßen, Bordsteine, das Gelände und Objekte in der Umgebung, und zum anderen semantische Informationen, die in der Regel als OpenDRIVE-Datei ausgegeben werden. Es könnten beispielsweise innerhalb eines Unternehmens zwei Teams mit jeweils unterschiedlichen Simulatoren arbeiten. Eine Umgebung wird dann nur einmal in RoadRunner erstellt, dient aber in beiden Simulatoren als Single Source of Truth.

Video: Virtuelle ADAS/AD-Plattform für End-to-End-Softwareentwicklung und -Tests – MATLAB & Simulink (mathworks.com)

Der Interviewpartner

Gaurav Tomar
ist als Automotive Industry Marketing Manager für EMEA bei MathWorks mit Fokus auf den deutschen Markt tätig. Mit seiner langjährigen Erfahrung in der Automobilindustrie unterstützt er Entscheidungsträger bei der Maximierung der technischen Effizienz in Bereichen wie ADAS/AD, Elektrifizierung und Fahrzeugsoftware. Er stellt dar, wie Technologie von MathWorks heute in Prozessen und Methoden der Automobilindustrie eingesetzt werden kann, und identifiziert zukünftige Wachstumsbereiche für das Unternehmen. Darüber hinaus hat er praktische Erfahrung in der Entwicklung von Wahrnehmungs-, Sensorfusions- und Lokalisierungsalgorithmen bei BMW, Porsche und Honda gesammelt. Er hat Master Abschluss in Elektrotechnik von TH Rosenheim und ein Bachelor Abschluss in Elektrotechnik aus Indien.