Startseite > Automotive > Assistenzsysteme > Der prüfende Blick

Kamerabasierte Fahrerzustandserkennung

Der prüfende Blick

7. September 2018, 12:30 Uhr | Von Timon Blöcher

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Fahreremotion auf Basis der Mimik

Die Emotion des Fahrers wird aktuell vor allem auf Basis der Fahrermimik abgeleitet. Grundlage des Systems zur Mimikerkennung ist analog zur Herzfrequenzmessung die Detektion des Fahrergesichts.

Im Bereich des Gesichts werden bestimmte Merkmale extrahiert (beispielsweise SIFT-Features [3] oder HOG-Features [4]), die notwendige Klassifikatoren wie Support-Vector-Machines trainieren, um eine Emotion zuordnen zu können. Die Zuordnung erfolgt anhand des sogenannten Facial Action Coding Systems (FACS) [5].

Hierbei handelt es sich um ein von Psychologen entworfenes Kodierungsverfahren für Gesichtsbewegungen, welches die Bewegungen einer der folgenden sieben Basisemotionen zuordnet:

Freude
Wut
Ekel
Furcht
Verachtung
Traurigkeit
Überraschung

Dazu wird einer sichtbaren Bewegung unserer mimischen Muskulatur eine sogenannte Bewegungseinheit (Action Unit) zugewiesen. Für relevante Action Units, wie das »Öffnen der Lippen« oder das »Anheben der Mundwinkel«, werden die erwähnten Klassifikatoren trainiert. Ihre Aufgabe ist die Klassifikation der Bewegungseinheit in »aktiv« oder »inaktiv« (Mundwinkel angehoben oder nicht). Aus der Kombination aktiver Action Units wird dann die Emotion abgeleitet.

Jobangebote+ passend zum Thema

Regional Key Account (m/w/d) für Elektronische Bauteile

KOA Europe GmbH, Dägeling

Alle Jobangebote im Elektroniknet Karrierebereich anzeigen

Ein Nachteil FACS-basierter Ansätze ist, dass lediglich eine Einteilung in diskrete Kategorien der Basisemotionen vorgenommen wird – die menschliche Emotion besitzt jedoch deutlich mehr und komplex zusammenhängende Unterkategorien. Im Jahr 2017 haben kalifornische Wissenschaftler eine Studie veröffentlicht, nach der 27 Kategorien von Emotionen identifiziert und entsprechende Übergänge zwischen den Kategorien entdeckt wurden [6]. Andere Modelle bilden die Emotion beispielsweise auf einem zweidimensionalen kreisförmigen Raum ab, mit den Dimensionen »Erregungsstärke« (Arousal) und »Wertigkeit der Emotion« (Valence) [7]. Die jeweilige Emotion wird dabei anhand der Lage im Raum klassifiziert (Bild 3).

Eine sinnvolle Abbildung der menschlichen Emotion stellt eine der größten Herausforderungen der sensorbasierten Emotionserfassung dar. Hinsichtlich der Emotionserfassung im Fahrzeug wird daher aktuell untersucht, welche Arten der Emotion bei Insassen relevant sind und wie sie beschrieben werden können.

Doch unabhängig der Emotionsbeschreibung bleibt die Herausforderung hinsichtlich kultureller und individueller Unterschiede bei einem mimischen Ausdruck einer Emotion bestehen. Unter der Voraussetzung, dass große und sinnvoll kategorisierte Datensätze mit entsprechender Verteilung von beispielsweise Alter, Geschlecht und Herkunft zur Verfügung stehen, bietet Deep-Learning vielversprechende Ansätze. Aktuelle Forschungsarbeiten untersuchen zudem Konzepte, die Emotionen nicht ausschließlich auf Basis einzelner Bilder schätzen, sondern auch den zeitlichen Verlauf in Bildsequenzen analysieren. Ein weiteres Ziel ist die Fusion der Mimik- und Vitaldaten, um die Emotion noch präziser abschätzen zu können.

Fahrermodell

Neben der genauen Erfassung einzelner Messparameter der Fahrerbeobachtungskamera (Bild 4, linker Block) bedarf es einer geeigneten Modellierung des Fahrerzustands. Passende Parameter des Fahrerzustandsmodells sind im mittleren Block (Bild 4) ersichtlich.

Es fließen meist mehrere Messparameter in die Berechnung eines Modellparameters ein, gleichzeitig dient ein Messparameter als Input für mehrere Modellparameter. Aus diesem Grund sind die Modellparameter nicht als separiert anzusehen, sondern dienen als Ansatz, um den Fahrerzustand möglichst umfassend zu beschreiben. Neben den Daten aus der Fahrerbeobachtungskamera fließen Fahrzeugdaten, wie das Beschleunigungs- oder Lenkverhalten sowie Kontextinformationen, beispielsweise über Verkehrslage und Tageszeit, in die Bestimmung der Modellparameter mit ein. Abhängig von den Parametern des Fahrerzustandsmodells können zukünftig die bereits erwähnten Reaktionen ausgelöst werden.

Die nach SAE-Level unterteilte Übersicht möglicher Fahrzeugreaktionen ist in Bild 4 (rechter Block) dargestellt. Bei der Überführung der Fahrerzustandsparameter in konkrete Fahrzeugreaktionen wird zwischen langsam und schnell veränderlichen Parametern unterschieden. Bei langsam veränderlichen Parametern, wie dem mentalen oder physiologischen Zustand, wird die Einteilung in diskrete Level vorgenommen. Auf Basis der Beschreibung könnte beispielsweise die automatisierte Anpassung von Unterstützungs- bzw. Komfortfunktionen erfolgen oder dem Fahrer angeboten werden. Bei kurzfristig veränderlichen Parametern wie Ablenkung, Sekundenschlaf oder Reaktionszeit wird kontinuierlich die Einhaltung bestimmter Grenzwerte überprüft, um bei Überschreitung umgehend entsprechende Warnungen auszugeben oder die Übergaberegelung anpassen zu können. So könnte die Geschwindigkeit reduziert werden und eine Übernahme-Aufforderung im Blickfeld des Fahrers visualisiert werden.

Bild 4 verdeutlicht zudem den Zusammenhang zwischen Fahrer, Fahrzeug und Umwelt. So haben die Anpassungen des Fahrzeugs direkten Einfluss auf den Fahrerzustand und die Umwelt, welche sich wiederum auf den Fahrerzustand auswirken. Übergeordnetes Ziel ist es daher, den Wirkungskreis zwischen Fahrer, Fahrzeug und Umwelt zu optimieren. Die Analyse der gegenseitigen Wechselwirkungen ist ebenso Gegenstand aktueller Forschungsarbeiten, wie die Definition der Parameter, Regeln und Beschreibungen des Fahrerzustandsmodells.

Schlüsseltechnik der Zukunft

Wie schnell und umfangreich Systeme zur kamerabasierten Fahrerzustandserkennung in Serienfahrzeugen zum Einsatz kommen werden, ist neben der technischen Realisierung von der Gesetzgebung sowie der Akzeptanz der Kunden abhängig. Laut einer Studie von ABI Research gelten Fahrerbeobachtungskameras mit einer Prognose von 17,5 Mio. verkauften Einheiten für das Jahr 2026 als Schlüsseltechnik für das teilautonome Fahren [8].

Darüber hinaus bleibt abzuwarten, in welchem Ausmaß emotionssensitive Interaktions- und Komfortsysteme oder sogar Health-Anwendungen Einzug in das autonome Fahrzeug der Zukunft halten werden. Die deutschen Automobilhersteller haben unter dem Begriff »Automotive Health« [9] bereits ein neues Themengebiet für autonome Fahrzeuge für sich entdeckt. Die Ideen reichen von Fitness- und Wellnessangeboten bis hin zu Gesundheitsdienstleistungen im Auto, wie beispielsweise die Auswertung von Vitaldaten der Insassen zur Früherkennung von Erkrankungen, bei gleichzeitiger Vernetzung zu Apotheken oder behandelnden Ärzten. Die Ideen können aufgrund des konservativen Gesundheitssystems sowie entsprechender Datenschutzhürden als fraglich angesehen werden. Für die Automobilindustrie ist es allerdings mit Blick auf das »Fahrerlose Fahren« von großer Bedeutung, sich mit neuartigen Service- und Mobilitätskonzepten auseinanderzusetzen.

Literatur
[1] https://www.allianzdeutschland.de/ablenkung-gefaehrlicher-als-alkohol/id_79645060/index
[2] https://www.smmt.co.uk/wp-content/uploads/sites/2/automated_driving.pdf
[3] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. In: International Journal of Computer Vision. Band 60. Nr. 2. 2004. Seiten 91 - 110.
[4] Navneet Dalal und Bill Triggs. Histograms of oriented gradients for human detection. In: Computer Vision and Pattern Recognition. 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE. 2005. Seiten 886 - 893.
[5] Paul Ekman und Wallace V. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press. Palo Alto.
[6] Alan S. Cowen und Dacher Keltner. Self-report captures 27 distinct categories of emotion bridged by continuous gradients. http://www.pnas.org/content/early/2017/08/30/1702247114
[7] James Russell. A circumplex model of affect. Journal of Personality and Social Psychology. 39. Seiten 1161 - 1178. http://psycnet.apa.org/record/1981-25062-001
[8] https://www.abiresearch.com/press/camera-based-driver-monitoring-systems-be-chief-en/
[9] Mustapha Addam, Manfred Knye und David Matusiewicz. Automotive Health in Deutschland. Springer Fachmedien Wiesbaden GmbH, 2018.

Der Autor

Timon Blöcher

studierte Elektro- und Informationstechnik am Karlsruher Institut für Technologie (KIT) mit dem Schwerpunkt Biomedizinische Technik. Seit Juli 2014 ist er als wissenschaftlicher Mitarbeiter am FZI Forschungszentrum Informatik im Bereich Embedded Systems and Sensors Engineering tätig. Dort beschäftigt er sich unter anderem mit Techniken und Methoden der Bild- und Biosignalverarbeitung sowie Data Fusion und Machine Learning. Sein Forschungsschwerpunkt ist die kamerabasierte Erfassung von Vitalparametern im menschlichen Gesicht mit besonderem Fokus auf die Fahrerzustandserkennung.