Kamerabasierte Fahrerzustandserkennung Der prüfende Blick

Das kamerabasierte Fahrerzustandssystem träg zur Sicherheit und Komfort im Verkehr bei.
Das kamerabasierte Fahrerzustandssystem träg zur Sicherheit und Komfort im Verkehr bei.

Die kamerabasierte Fahrerzustandserkennung ist eine der Voraussetzungen für das teilautonome Fahren, wenn beispielsweise der Fahrer die Fahraufgabe wieder übernehmen soll. Neben künftigen Einsatzmöglichkeiten können die Systeme bereits heute zu Sicherheit und Komfort im Straßenverkehr beitragen.

Bereits für Fahrzeuge der heutigen Generation ist die Relevanz der Fahrerzustandserkennung unverkennbar und wird durch Zahlen der Unfallstatistik verdeutlicht. Das statistische Bundesamt hat in Deutschland im Jahr 2016 insgesamt 1871 Übermüdungsunfälle registriert – die Dunkelziffer wird jedoch noch weit darüber liegen. Zudem spielen laut Untersuchungen des Allianz-Zentrums für Technik bei rund einem Drittel der Unfälle Unaufmerksamkeit eine Rolle, dazu zählt auch Schläfrigkeit. Jeder zehnte Unfall wird durch Ablenkung verursacht. 350 Personen sterben demnach durch technische Ablenkung, wobei Trunkenheit am Steuer statistisch gesehen 256 Unfalltote verursacht [1].

Zahlreiche Fahrzeugmodelle sind daher bereits heute mit unterschiedlichen Systemen zur Warnung bei auftretender Müdigkeit ausgestattet. Sie analysieren vor allem Veränderungen im Lenkverhalten und erkennen dabei Abweichungen vom »normalen« Fahrverhalten. So sind ein besonders starr gehaltenes Lenkrad oder vergleichsweise hohe Lenkradausschläge ein Anzeichen für Ermüdung. Die Warnsysteme berücksichtigen dabei zusätzliche Informationen wie Uhrzeit, Fahrtdauer oder Längs- und Querbeschleunigung des Fahrzeugs und empfehlen gegebenenfalls eine Pause beziehungsweise Fahrtunterbrechung.

Um die Warnsysteme robuster und aussagekräftiger zu gestalten, arbeitet die Automobilindustrie seit einigen Jahren an kamerabasierten Systemen zur Fahrerzustandserkennung im Fahrzeuginnenraum. Erste Varianten der Fahrerbeobachtungskamera werden noch in diesem Jahr bei einem Automobilhersteller in Serie gehen. Sie beobachten in erster Linie die Augenregion des Fahrers und geben auf Basis von Blickrichtung, Augenöffnungsgrad und Lidschlussverhalten Warnungen bei erkannter Müdigkeit oder Ablenkung des Fahrers.

Mehr als nur die Blickrichtung

Am Forschungszentrum Informatik (FZI) wird derzeit ein System entwickelt, das neben Kopfpose, Blickrichtung und Lidschlussverhalten kamerabasiert auch die Mimik und Herzfrequenz des Fahrers bestimmt (Bild 1).

Durch die Erweiterung um mimische und vitale Parameter lässt sich das Müdigkeitsniveau präziser erfassen und ermöglicht Informationen hinsichtlich Stress, Emotion und Fitness. Das wiederum lässt Rückschlüsse auf den psychophysiologischen Zustand des Fahrers zu, welcher eng mit der Leistungsfähigkeit in Verbindung steht. Im Bedarfsfall kann die Herzfrequenzmessung auch medizinische Notfallsituationen erkennen, wie beispielsweise Bewusstseinsverlust. Zudem sollen künftig die Mikrobewegungen der Pupille analysiert werden, um die aktuelle kognitive Belastung des Fahrers oder gedankliches Abschweifen durch eine »Tunnelblick-Erkennung« zu erfassen.

Kombiniert mit entsprechenden Kontextinformationen zu Verkehrssituation oder Fahrverhalten, bietet die kamerabasierte Fahrerzustandserkennung entscheidende Möglichkeiten für das teilautonome beziehungsweise hochautomatisierte Fahren gemäß SAE Level 3 und 4 [2].

Das System kann den Fahrer im Bedarfsfall auffordern, die Fahrzeugführung innerhalb einer Vorwarnzeit zu übernehmen. Hier ist es von großer Bedeutung, auf Basis des aktuellen Fahrerzustands die grundsätzliche Fahrtauglichkeit festzustellen und die Zeit bis zur Übernahme der Fahraufgabe möglichst genau vorherzusagen (Bild 2) – für einen sicheren und komfortablen Übergabeprozess. Darüber hinaus könnten adaptive Fahrerassistenzsysteme oder autonome Unterstützungsfunktionen bei manueller Fahrzeugführung automatisiert an den Bedarf des Fahrers und dessen aktuelle Leistungsvoraussetzungen angepasst werden.

Ein häufiger Kritikpunkt der Fahrerbeobachtungskameras ist, dass solch ein System bei autonomen Kraftfahrzeugen überflüssig sei. Die beschriebenen Ansätze bieten allerdings auch für das vollautonome Fahren (SAE Level 5) unterschiedliche Einsatzmöglichkeiten, wenn das Fahrerlebnis im Innenraum in den Fokus rückt und Komfortsysteme einen möglichst hohen Wohlfühlfaktor bei den Insassen erzeugen sollen. Durch die Fusion von Vital- und Mimikparametern kann so das Fahrzeug künftig Aussagen über Emotionen und Wohlbefinden der Insassen treffen. Auf Basis des aktuellen Zustands kann sowohl das Fahrverhalten als auch der Fahrzeuginnenraum inklusive Komfortsysteme und Benutzerschnittstellen kontinuierlich und automatisiert an die Bedürfnisse der Insassen angepasst werden.

Kamerabasierte Herzfrequenzmessung

Die kamerabasierte Herzfrequenzmessung (Photoplethysmography Imaging, PPGI) funktioniert kontaktlos und beruht dabei auf der Lichtabsorption des Blutfarbstoffs Hämoglobin – der Effekt wird auch bei Fingerpulsoximetern zur Messung der Sauerstoffsättigung im klinischen Umfeld genutzt. Die Blutgefäße der oberen Hautschichten absorbieren das Licht in Abhängigkeit des momentanen Blutvolumens, das sich in den arteriellen Gefäßen mit der Herzaktivität pulsierend ändert. Die rhythmischen Blutvolumenschwankungen führen daher zu einer sich mit der Herzfrequenz ändernden Reflexionsintensität des Lichts. Die Aufgabe der Bild- und Signalverarbeitungsalgorithmen ist es daher, Hautareale im Kamerabild als Messregion zu definieren und dort die geringen Helligkeitsveränderungen zu extrahieren.

Das entwickelte System setzt dafür einen sogenannten »Facetracker« zur Lokalisation des Fahrergesichts ein, der eindeutige Merkmale detektiert und von Bild zu Bild nachverfolgt. Auf Basis der erhaltenen Positionen werden zugängliche Hautareale wie Stirn oder Wange festgelegt. Die Mittelung der Pixelwerte in den jeweiligen Messregionen dient anschließend als Eingangssignal für die weitere Verarbeitung. Die Hauptaufgabe besteht dann darin, die blutvolumenabhängigen Helligkeitsschwankungen von direkten Oberflächenreflexionen zu unterscheiden. Das Signal-zu-Rausch-Verhältnis ist erwartungsgemäß sehr gering, was hohe Ansprüche an die Algorithmen stellt. Hinzu kommt, dass bei der automobilen Anwendung Fahrzeugschwingungen, Fahrerbewegungen und Änderungen der Umgebungshelligkeit bereits zu Veränderungen führen.

Beim Mess-Set-up des Systems werden grundsätzlich zwei Varianten unterschieden:

  • Passive Systeme: Nutzen das Umgebungslicht als Lichtquelle und werden meist in Verbindung mit RGB-Farbkameras im sichtbaren Spektralbereich eingesetzt.
  • Aktive Systeme: Verwenden künstliche Beleuchtungssysteme als Lichtquelle. Der Einsatz von nahinfraroten Beleuchtungs- und Kamerasystemen im nichtsichtbaren Spektralbereich ermöglicht dabei den Einsatz bei Nacht – ohne Blendwirkung.

Ein Effekt beim Einsatz der RGB-Farbkameras ist die unterschiedliche Zusammensetzung von Nutz- und Störsignal in verschiedenen Farbkanälen. Das beruht auf der Tatsache, dass Hämoglobin Licht im grünen Wellenlängenbereich stärker absorbiert als im blauen, roten oder nahinfraroten Bereich. Aktuell werden für die Fahrerbeobachtung fast ausschließlich monochrome Nahinfrarot-Kameras eingesetzt, um die Systemverfügbarkeit Tag und Nacht zu gewährleisten. Daher liegt der Fokus aktueller Forschungsarbeiten auf innovativen Beleuchtungskonzepten, um die Erkenntnisse der Farbkamera-Algorithmen auf den Nahinfrarotbereich zu übertragen. Zusätzliche Ansätze zur Datenfusion aus verschiedenen Gesichtsregionen und spezielle Algorithmen zur Kompensation der unerwünschten Veränderungen ergänzen die aktuellen Entwicklungen.

Das aktuelle System ermöglicht die Online-Herzfrequenzmessung über eine Schlag-zu-Schlag-Analyse des extrahierten Pulssignals im Zeitbereich. Auf der Basis werden auch weitere Vitalparameter wie Herzratenvariabilität oder relativer Blutdruck untersucht. Die Parameter korrelieren mit Stress und Müdigkeit und bieten daher weitere Möglichkeiten im Bereich »Driver Health« und »Driver Fitness«. In Kooperation mit Partnern der Automobilindustrie wird das Ziel verfolgt, eine ausreichende Genauigkeit und Verfügbarkeit der Messmethode sicherzustellen.