Angriffe auf Fahrerassistenzsysteme ADAS in Phantom-Gefahr

Fahrerassistenzsysteme und Autopiloten können leicht manipuliert werden. Israelische Forscher haben demonstriert, wie sie mehrere Autopiloten mit Phantom-Verkehrszeichen in die Irre führen. Die Wissenschaftler fordern eine externe ADAS-Kontrolle und stellen ein neuartiges Überwachungs-Tool vor.

Die möglichst exakte Wahrnehmung der Fahrzeugumgebung ist essenziell für das automatisierte Fahren. Sensorikfehler in Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) durch Fehleinschätzungen, Täuschungen oder andere falsche Daten können schwerwiegende Folgen haben. Aktuell fehlt eine Kontrollinstanz, die ADAS-Entscheidungen im Notfall korrigieren kann. Eine verbesserte Kreuzvalidierung durch Sensorfusion oder V2V- oder V2X-Systeme, welche das interne Assistenzsystem mit anderen Fahrzeugen und der umgebenden In­frastruktur abgleichen, könnten diese Validierungslücke schließen. Momentan sind halb- oder vollautomatisierte Fahrzeuge jedoch ausschließlich auf ihre eigene Sensorik angewiesen und gleichen ihre Wahrnehmung noch nicht über eine dritte Instanz ab.

 

In dem Projekt »The Phantom of the ADAS« hat ein israelisches Forscherteam von der Ben Gurion Universität des Negev einen Tesla X zum Bremsen gebracht, indem sie dem Autopiloten der Hardware-Version 2.5 Phantom-Zeichen präsentierten, gleiches gelang mit dem externen ADAS Mobileye Pro 630. Die Wissenschaftler um den Doktoranden Ben Nassi projizierten per Beamer-Drohne Bilder von Verkehrsschildern, Fußgängern sowie falsche Fahrbahnmarkierungen in 2D vor das Auto – das ADAS identifizierte die virtuellen Objekte als echt (Bild 1). Die Forscher zeigten auch, dass potenzielle Angreifer einem ADAS gefälschte Verkehrszeichen vorgaukeln können, indem sie digitale Plakatwände in der Nähe von Straßen hackten und die Phantom-Zeichen für nur 125 Millisekunden in Werbeanzeigen aufblitzen ließen.

Automatisierungsstufen

on den sechs Stufen der Fahrzeugautomatisierung beruhen die Stufen 0 bis 2 auf dem menschlichen Fahrer als Überwachungsinstanz. Halbautomatisiertes Fahren beginnt ab Stufe 2, hier lenkt meist ein Autopilot, der aber die Aufmerksamkeit eines Menschen zur Interaktion benötigt. Systeme der Stufe 2 nutzen zumeist einen GPS-Sensor und eine Straßenkarte, welche die örtlichen Verkehrsregeln und Geschwindigkeitslimits kennt. Üblicherweise werden zwei Tiefensensoren wie Ultraschall, Radar oder LiDAR mit mehreren Videokameras kombiniert, um eine 360-Grad-Sicht zu erhalten. Mit Sensorfusion wird die Wahrnehmung verbessert, da Fahrspuren etwa nur per Kamera erkannt werden oder eine geringe Auflösung Mehrdeutigkeiten zulässt sowie auch ungünstige Wetter- und Lichtverhältnisse Probleme bereiten können. Als X-Faktor einer fahrerlosen Zukunft werden von den Forschern Fahrzeugkommunika­tionsprotokolle wie V2I, V2P, V2V oder V2X betrachtet, die die virtuelle Wahrnehmung von Autos in Bezug auf ihre Umgebung verbessern, indem sie über Kurzstreckenkommunikation Informationen über bis zu 300 Meter entfernte Fußgänger, Autos, Verkehrszeichen, Fahrspuren usw. liefern.

Phantom-Angriffe mit Drohnen

Ben Nassi und sein Team konzentrieren sich in dem »Phantom of the ADAS«-Projekt auf ferngesteuerte ADAS-Angriffe. Die Wissenschaftler definieren ein Phantom dabei als tiefenloses Objekt, welches als Bild projiziert oder angezeigt wird und dem ADAS ein echtes Objekt vortäuscht. Während des Forschungsaufbaus wurden Phantome mittels eines Projektors als Hindernis projiziert, möglich sind etwa Personen, andere Fahrzeuge oder auch Motor­räder sowie falsche Fahrspurlinien oder Straßenschilder.

Phantome fordern die Wahrnehmungsintelligenz von Fahrerassistenzsystemen heraus, indem sie das Fehlen einer Kontrollinstanz ausnutzen. Jetzige halb- und vollautomatisierte Autos verifizieren ihre virtuelle Wahrnehmung nicht außerhalb des ADAS. Die meisten Objekterkennungsalgorithmen sind Feature-Matching-Algorithmen, d.h. sie klassifizieren Objekte mit hoher Sicherheit, wenn Teile des Objekts wie dessen Geometrie, Kanten oder Texturen den gelernten Beispielen ähneln. Darüber hinaus ist es den Algorithmen bisher egal, ob die Szenerie Sinn ergibt, die Lage eines Objekts und sein lokaler Kontext werden nicht berücksichtigt (Bild 2).

Die Wissenschaftler schätzen die Gefahr für diese Art Attacken als hoch ein. Angreifer benötigen nur eine Drohne und einen tragbaren Projektor, sie müssen für einen Angriff nicht vor Ort sein. Auch können Drohnen sofort entfernt oder deaktiviert werden, ohne Spuren zu hinterlassen (Bild 3). Neben terroristisch motivierten Attacken oder Erpressungsversuchen gegen Automobilhersteller kann auf diese Art und Weise auch ein persönlich motivierter Unfall herbeigeführt werden, da Phantom-Zeichen gezielt vor ein spezifisches Fahrzeug projiziert werden könnten.

Phantom-Angriffe auf ADAS

Die Studie der israelischen Forscher hat das derzeit erfolgreiche Fahrerassistenzsystem Mobileye Pro 630 in fest integrierter Ausführung sowie den derzeit ihrer Meinung nach fortschrittlichsten Autopiloten des Tesla Model X, Version 2.5, untersucht.

Die Studie zeigt, dass der Erfolg einer Phantom-Attacke unter anderem von der Projektionsgröße, der Projektionsintensität und der Projektionsdauer, jedoch nicht von der Farbe abhängt. Im Versuchsaufbau verwendete das Nassi-Team einen Nebula Capsule-Projektor mit einer Auflösung von 854 x 480 Pixel und einer Intensität von 100 lm, die Projektion wurde 2,5 m vor einer weißen Leinwand erzeugt. Die Forscher fuhren jeweils mit einer Geschwindigkeit zwischen 25 und 50 km/h daran vorbei.

 

Größe der Projektion

Bild 4 zeigt den Zusammenhang zwischen Größe und Entfernung der Projektion auf deren Erkennung durch das ADAS. Die schwarzen Punkte zeigen die minimalen und maximalen Entfernungen für jede Phantom-Größe an. Der graue Bereich auf dem Diagramm zeigt den Erfassungsbereich für den gesamten Probensatz, während die roten Punkte den Mittelpunkt zwischen dem maximalen und minimalen Abstand anzeigen. Kleine Schilder wurden als weit vom Auto entfernt erkannt, größere Schilder als nah. Das größte Phantom-Schild hatte einen Durchmesser von 1,20 m und wurde als 14,8 m entfernt klassifiziert. Die Wissenschaftler konnten folgend den Durchmesser für die Erkennung der Fake-Verkehrsschilder berechnen, der als Funktion des Abstands zwischen dem Phantom und dem anzugreifenden Auto erforderlich ist.

Intensität der Projektion

Unter der Annahme, dass die Wahrnehmung der Helligkeit sich mit zunehmender Entfernung verschlechtert und ab einem bestimmten Abstand nicht mehr erfasst werden kann, testeten die Wissenschaftler zehn Phantom-Verkehrsschilder mit unterschiedlichen Trübungsgraden zwischen 10 und 100 %.
Die Untersuchungen zeigten, dass es einfacher ist, Phantom-Angriffe im Dunkeln mit schwachen Projektoren durchzuführen, und dass stärkere Projektoren erforderlich sind, um Phantom-Angriffe am Tag durchzuführen. Mit steigender Entfernung muss auch die Lichtintensität erhöht werden.

Farbe der Projektion

Eine andere Farbgebung des Umrisses oder der Inhaltsfläche der Verkehrszeichen hatte in dem Versuch keine Auswirkung auf den Erfolg der Erkennung durch das Fahrerassistenzsystem, da das verwendete ADAS nicht farbempfindlich ist und die Bilder entweder über Graustufen erkennt oder die Farbe schlicht ignoriert.

Minimale Projektionsdauer

Wie lange muss ein Phantom sichtbar sein, um vom ADAS wahrgenommen zu werden? Der vom Forschungsteam verwendete Beamer arbeitete mit einer Bildrate von 25 fps. In 25 Videos mit einer Gesamtlänge von 10 s wurden dazu Straßenschilder in einige aufeinanderfolgende Frames (1, 2, 3, …, 25) eingebettet. Eine Anzeigelänge von nur 125 ms reichte im Versuch aus, damit das projizierte Schild vom ADAS zuverlässig erkannt wurde.

 

Phantomangriffe in der Praxis

Das Forschungsteam der Ben Gurion Universität führte insgesamt drei umfangreiche Tests der zuvor unter Laborbedingungen gewonnen Erkenntnisse in der Praxis durch. Der erste Test schickte eine Lieferdrohne, ausgestattet mit einem Paket zur Tarnung und dem Beamer auf den Weg, um in einer 30er-Zone eine falsche Geschwindigkeitsbegrenzung von 90 km/h anzuzeigen. Die Projektion des Phantom-Verkehrsschildes wurde für nur 125 ms im Blickfeld des Mobileye-ADAS aufrechterhalten und führte dazu, dass der eingesetzte Wagen beschleunigte.

Im zweiten Praxisversuch hackten die Forscher eine digitale Plakatwand. Die Forscher tarnten das Phantom in einer bestehenden Anzeige, um den Angriff für Fahrer, Fußgänger und Passagiere schwerer erkennbar zu machen. Auch hier setzte das Team zunächst ein 90-km/h-Schild ein (Bild 5), es wurde genauso zuverlässig, wie zuvor im Drohnenversuch, erkannt. Danach ließen die Forscher eine Person auf der Plakatwand erscheinen – eine Situation wie schon 2002 im Film »Minority Report« eindrucksvoll demonstriert. Der Autopilot eines stehenden Tesla ModelX 2.5 identifizierte die Person als echt und verweigerte die Weiterfahrt. Hauptgrund für solche Fehleinschätzungen ist wie bei den Versuchen mit Verkehrszeichen eine fehlende Tiefenwahrnehmung aktueller ADAS-Systeme.

Auch im dritten Praxisversuch arbeiteten die Wissenschaftler mit einem Tesla Model X (HW 2.5., Firmware 2019.31.1), dessen Autopilot statistisch sicherer als ein menschlicher Fahrer sein soll. Teslas Hinderniserkennung basiert auf acht Kameras, zwölf Ultraschallsensoren und einem nach vorn ausgerichteten Radar. In diesem Versuch projizierte das Forscherteam das Bild einer Person direkt auf die Fahrbahn vor das Auto – der Tesla fuhr nicht los (Bild 6).

Dieses Ergebnis ist aufgrund des geringen Radarquerschnitts eines Menschen nicht verwunderlich, jedoch wurde ein projiziertes Phantom-Auto trotz seines fehlenden Radarquerschnitts ebenfalls als Hindernis erkannt. Die Forscher gehen davon aus, dass Tesla streng der Better-safe-than-sorry-Regel folgt und der Radarsensor das Objekt zwar richtig erkannte, die Entscheidung der Kamera jedoch nicht überstimmen durfte.

Kritisch wurde es allerdings im letzten Versuchsaufbau: Hier projizierten die Wissenschaftler eine zusätzliche Phantom-Fahrbahn auf die Straße. Der Tesla verfolgte tatsächlich die weißen Phantom-Linien, überquerte die originalen gelben Spurbegrenzungen und lenkte in den Gegenverkehr bis das Testteam intervenierte. Das Spurerkennungssystem war nicht in der Lage, zwischen der echten und der Fake-Spur zu unterscheiden, da das Spurerkennungssystem ausschließlich auf die reinen Bilddaten der Kamera setzt.

 

Validierung erkennt Phantome

Phantom-Angriffe funktionieren, da automatisierte Systeme auch Falschmeldungen einzelner Sensoren berücksichtigen, um potenziell tödliche Fehler zu vermeiden. Die Tests zeigten, dass die Assistenzsysteme selbst bei einer internen Kreuzvalidierung auf den Better-safe-than-sorry-Ansatz setzen, um Unfälle zu verhindern. Wenn beispielsweise die Kamera eine drohende Kollision erkennt, schenkt das System dieser Information Glauben und bremst, auch wenn andere Sensoren gegenteilige Daten liefern. Doch auch der Better-safe-than-sorry-Ansatz birgt signifikante Gefahren, denn falsche Vollbremsungen oder Ausweichma­növer sind ebenso Unfallrisiken.

Ben Nassi und sein Team schlagen eine zusätzliche Validierungssoftware als Kontrollinstanz vor, welche den Kontext und die Authentizität eines erkannten Objektes berücksichtigt und so die Sensorfusion verbessert. Auch wenn die Forscher sich dabei auf Verkehrszeichen konzentriert haben, sind sie sicher, dass die Methodik des vorgestellten Softwaremoduls sich auch für Fußgänger und andere Phantom-Objekte eignet. Die fünf wichtigsten Validierungsaspekte sind die Größe, der Winkel, der Kontext, die Oberfläche und die Lichtverhältnisse.

Größe und Entfernung eines Objektes können allein mithilfe der Kamerasensoren durch Triangulation berechnet und folgend abgeglichen werden. Stimmt der Winkel eines Objektes nicht mit seiner Platzierung überein oder ist einfach anormal, kann ein Phantom vorliegen. Ein Straßenschild ohne Pfosten oder »schwebende« Fußgänger müssten im Kontext ebenfalls als Fake angesehen werden, genauso wie Straßenschilder auf unebenen Hauswänden oder in Baumkronen. Bezüglich der Lichtverhältnisse wären helle Objekte im Schatten oder zu helle Objekte gegenüber dem Tageslicht als verdächtig einzustufen.

Hilfe von Neuronalen Netzen

Das von den Forschern entwickelte Modul klassifiziert auf Basis eines Convolutional Neural Network (CNN). Um die künstliche Intelligenz nicht von bestimmten Merkmalen oder Aspekten abhängig zu machen und wiederum Fehler zu vermeiden, nutzten die Wissenschaftler einen Ansatz aus dem Machine Learning, welcher auf eine Kombination von Modellen setzt, die jeweils eine andere Perspektive einnehmen und andere Faktoren innerhalb der Trainingsdaten interpretieren. Die Software der israelischen Forscher betrachtet den Kontext, die Oberfläche und die Lichtverhältnisse. Innerhalb dieser Parameter wird eingeschätzt, ob ein Verkehrsschild in der erkannten Umgebung angemessen ist, ob dessen Farbe und Oberfläche realistisch ist und ob die Lichtintensität und die Reflexion des erkannten Objektes einem echten Schild entsprechen. Da die Reflexion von Beamer-Projektionen sich deutlich von der realer Straßenschilder unterscheidet, ist insbesondere der dritte Punkt wichtig, um Phantome zu erkennen.

Um eine Vorhersage darüber zu treffen, ob ein Zeichen echt bzw. falsch ist oder nicht, kombinierten die Forscher alle drei Modelle zu einer finalen Vorhersage (Bild 7). Die einzelnen Argumente werden dafür als Zusammenfassung verknüpft und schließlich mithilfe des vierten neuronalen Netzes darauf trainiert, das Bild als real oder Fake zu klassifizieren. Insgesamt verfügt das gesamte neuronale Netzwerk über 860.216 trainierbare Parameter. Als Basis für das Training der Software und deren neuronalen Netzes dienten die Gütebedingungen der deutschen Straßenverkehrsordnung für Straßenschilder (Rg), Dashcam-Daten aus Nachtfahrten (Rd), Dashcam-Daten mit Phantom-Projektionen (Fd) sowie Fahrten ohne Verkehrszeichen (Rn). Der genaue Versuchsaufbau und die validierten Trainingsergebnisse sind online abrufbar (Bild 8).

Wirksame Kontrolle für Autopiloten

Die Trainingsdaten zeigten durchgängig, dass die vierte, kombinierte CNN-Instanz am besten einschätzt, ob ein Phantom vorliegt oder nicht. Weiter stellten die Wissenschaftler fest, dass es keine Kombination einzelner Aspekte gibt, die so gut funktioniert wie die Kombination aller drei Modelle. So konnten die Wissenschaftler verdeutlichen, dass jeder Aspekt aus Kontext, Oberfläche und Licht einen einzigartigen Beitrag für die Phantom-Erkennung leistet.

Mit einer True-Positive-Rate von 0,9 erkannte die Software 90 % aller Phantome, die ein Autopilot ohne Kontrollinstanz als echt klassifiziert und dementsprechend „falsch“ darauf reagiert hätte. Das Modul verursachte zudem keine Fehlalarme. Das Team um Dr. Ben Nassi verwendete für diese Ergebnisse allerdings nur wenige Stunden Videomaterial. Hersteller und OEMs, die eine standardmäßige Integration einer solchen Kontrollsoftware in ihre ADAS und Autopiloten anstreben, könnten die True Positive Rate wahrscheinlich recht schnell auf nahezu 100 % anheben. Laut der Forscher braucht es für die höhere Erkennungswahrscheinlichkeit ein Machine-Learning-Training mit größeren Datensätzen, weitere Tests mit Phantomen aus anderen Quellen sowie die Einbeziehung zusätzlicher Aspekte wie Größe und Winkel.

Ein machbarer Mehraufwand, der den professionellen Einsatz des Softwaremoduls als Kontrollinstanz in automatisierten Fahrzeugen realistisch macht. Eine Manipulation durch Phantome wäre durch die Überwachung der Sensorik quasi ausgeschlossen und würde mit einer zuverlässigen Kreuzvalidierung die Gefahren des Better-safe-than-sorry-Ansatzes minimieren. Eine derartige Drittsoftware könnte die bisher in ADAS und Autopiloten bestehende Validierungslücke schließen.

 

Literatur:

Nassi, Ben; Nassi, Dudi; Raz, Ben-Netanel; Mirsky, Yisroel; Drokin, Oleg; Elovici, Yuval: “Phantom of the ADAS - Phantom Attacks on Driver-Assistance Systems”; Ben-Gurion University of the Negev, 2019.
Kunde, Dirk; „Autopilot aktualisiert: Wie Tesla die Welt per Radar sieht“; www.captain-gadget.de; 2019