Den Fahrer im Visier - Videobasierte Mimikanalyse

Mimik des Fahrers wird simuliert

CanControls hat ein patentiertes System entwickelt, welches dieses Problem umgeht und zur Anpassung an den Fahrer lediglich ein einziges Frontalbild benötigt. Aus diesem Frontalbild wird zunächst ein virtuelles, dreidimensionales Kopfmodell des Fahrers erstellt. Dieses Kopfmodell ist mit biologisch korrekt platzierten Muskeln ausgestattet, die es erlauben, verschieden Gesichtsausdrücke zu simulieren. Es können somit eine Vielzahl von Ansichten des Fahrers aus verschiedenen Blickwinkeln unter diversen Beleuchtungssituationen erzeugt werden, ohne dass dessen aktive Beteiligung erforderlich wäre. Das Modul zur Interpretation des Fahrerverhaltens wird mit diesen synthetischen Ansichten trainiert und ist somit optimal auf den Fahrer angepasst, was später ein robustes und genaues Ermitteln der mimischen Parameter ermöglicht.

Eine ganzheitliche, präzise Detektion und Interpretation von Gesichtsmerkmalen, wie sie das System von CanControls leistet, kann in einer Vielzahl von Anwendungsbereichen zum Einsatz kommen:

  • Fahrer-Verifikation: Das Gesicht ist ein primäres biometrisches Merkmal anhand dessen der Fahrer identifiziert und seine Berechtigung zur Führung des Fahrzeugs verifiziert werden kann.
  • Analyse der Fahrtüchtigkeit: Eine Analyse des Gesichts bietet zahlreiche Anhaltspunkte um Unaufmerksamkeit, Müdigkeit oder andere Einschränkungen der Fahrtüchtigkeit, wie etwa Alkoholeinfluss, festzustellen.
  • Situationsangepasstes Warnungs-Management: Bestimmte verkehrsbezogenen Warnungen werden nur dann ausgegeben, wenn der Fahrer gerade abgelenkt ist, da diese bei voller Aufmerksamkeit als überflüssig, oder sogar als störend empfunden würden.
  • Erhöhung der passiven Sicherheit: Die genaue Kenntnis der Position des Kopfes ist eine wichtige Information, um intelligente Airbagsysteme im Falle eines Aufpralls situationsabhängig zu steuern.
  • Fahrtenschreiber: Bei Lkws können Daten zur Analyse des Aufmerksamkeitsgrades oder der Müdigkeit des Fahrers benutzt werden um dem Zuwachs von übermüdungsbedingten Unfällen entgegenwirken.
  • Emotions-Analyse: Sie kann hilfreiche Information für die Interaktion mit Bordgeräten liefern. Die Stimme eines Menschen verändert sich unter dem Einfluss von Emotionen, sodass eine Interaktion über sprachbasierte Interfaces, unter Umständen fehlschlägt, da Befehle aufgrund der veränderten Stimme nur noch bedingt erkannt werden. Wird eine Emotion als Ursache für die gescheiterte Interaktion ausgemacht, so kann auf ein einfacheres, weniger fehleranfälliges Interaktionsschema ("ja/nein"-Fragen) zurückgegriffen werden.
  • Bestimmte Kopfbewegungen können, wie auch die Mundbilder, mit Kontrollsignalen für Bordgeräte belegt werden. Vorteil einer solchen Interaktionsmetapher ist, dass der Fahrer seine Aufmerksamkeit weiterhin vollständig auf den Straßenverkehr konzentrieren kann, anstatt auf der Mittelkonsole nach entsprechenden Kontrollelementen suchen zu müssen.

Videobasierte Zusatzsysteme sind assistierend, intervenierend und interaktiv einsetzbar, bleiben dabei jedoch nicht-beeinträchtigend und wartungsfrei. Diese Vorteile machen sie sehr attraktiv für einen Einsatz im Fahrzeugcockpit. Das System von CanControls wird in naher Zukunft Marktreife erreichen, sodass die Einbindung des Fahrers in das sensorische Netzwerk des Autos schon bald Realität werden kann.

Dr. Ulrich Canzler
CanControls
www.cancontrols.com

Video:

Eine über dem Armaturenbrett angeordnete Kamera erfasst das Gesicht des Fahrers. Der Algorithmus des CanControls-System erkennt Bewegungen des Kopfes sowie der Augenlider und Lippen.

Die Anforderungen an die Zuverlässigkeit eines solchen Systems sind hoch. So ist Echtzeitfähigkeit, das heißt eine Leistungsfähigkeit von mindestens 30 Bildern pro Sekunde Voraussetzung, um das System gegen schnelle und abrupte Bewegungen bei unruhiger Straßenlage unempfindlich zu machen. Zusätzlich muss es sich auf Veränderungen im Erscheinungsbild des Fahrers einstellen können. Man unterscheidet zwischen temporären Veränderungen wie Bartwuchs oder das Tragen einer Sonnenbrille, und permanenten Veränderungen beginnend bei altersbedingter Faltenbildung bis hin zu einem vollständigen Fahrerwechsel. Mögliche Variationen im Erscheinungsbild des Fahrers sind in Bild 1 dargestellt. Ein weiterer wichtiger Aspekt ist die Robustheit gegenüber stark variierenden Lichtverhältnissen (Bild 2) und möglichen Verdeckungen der Kamera durch Hände (Bild 3).

Um diesen Anforderungen entsprechen zu können, muss ein bildverarbeitendes System genaue Kenntnis über das zu erkennende Objekt besitzen. Dieses Wissen wird während einer vorbereitenden Trainingsphase gesammelt, in Zuge derer das System Beispielbilder auswertet und lernt, eine Person von anderen Elementen des Fahrzeuginneren zu unterscheiden und deren spezifische Mimik zu interpretieren. Obwohl wünschenswert, ist es jedoch unrealistisch, alle möglichen permanenten und temporären Variationen eines möglichen Fahrers (Bild 1) im Vorfeld trainieren zu wollen: das resultierende Modell wäre mit einer zu hohen Varianz behaftet, um in der Praxis von Nutzen zu sein. Andererseits kann jedoch nicht von einem Fahrzeughalter erwartet werden, dass er vor Nutzung des Systems zunächst eine Trainingsphase durchlaufen muss, bei der verschiedene Mimiken und Ansichten trainiert werden; zumal dieser Schritt möglicherweise bei äußeren Veränderungen wiederholt werden muss.