Elektroniknet Logo

Kameras im Fahrzeuginnenraum

Aktivitäten des Fahrers genau überwachen

Fraunhofer IOSB
Das Occupant-Monitoring-System des Fraunhofer-Instituts IOSB erkennt neben der Körperpose aller Insassen auch Aktivitäten und damit zusammenhängende Objekte.
© M. Zentsch/Fraunhofer IOSB

Beim autonomen Fahren sind Innenraumkameras wichtig und vom Gesetzgeber vorgeschrieben. Ein neues System des Fraunhofer-Instituts IOSB leitet aus den Bilddaten erstmals Aussagen zu den Aktivitäten des Fahrers ab und analysiert, wie schnell dieser die Steuerung übernehmen könnte.

Beim automatisierten Fahren entscheidet das Fahrzeug, was es tun muss – es lenkt, bremst und beschleunigt. Bei teilautomatisierten Fahrzeugen sind dagegen noch Übergaben zwischen Auto und Fahrer nötig, etwa bei einer Baustelle auf der Autobahn oder beim Übergang in den Stadtverkehr nach einer Autobahnfahrt. Das Fahrzeug muss dabei also nicht nur intelligent werden, um den Verkehr zu interpretieren, sondern auch nach innen schauen und mit dem Fahrer in den Dialog treten – und erkennen, was der Fahrer gerade macht und wie schnell er die Steuerung des Fahrzeugs übernehmen könnte. Zwar gibt es bereits Fahrerbeobachtungssysteme, diese nutzen jedoch bisher kaum Kamerabilddaten und beschränken sich vorwiegend auf die Erkennung von Müdigkeit.

Künstliche Intelligenz erkennt, was der Fahrer tut

Nun haben Forscher am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB sich dem Dialog zwischen Fahrer und Auto gewidmet. »Mit unserer Technologie erkennen wir nicht nur das Gesicht, sondern vielmehr die aktuellen Posen des Fahrers und der Mitfahrer«, so Dr. Michael Voit, Gruppenleiter am Fraunhofer IOSB. »Aus diesen Posen wiederum können wir zuverlässig bestimmen, womit sich Fahrer und Insassen gerade beschäftigen.«

Der Kern der Entwicklung liegt in Algorithmen und Verfahren des maschinellen Lernens, also der Künstlichen Intelligenz. Die Algorithmen analysieren die Kameradaten in Echtzeit und finden heraus, ob der Fahrer telefoniert, mit den Kindern spielt oder auf das Handy des Mitfahrers schaut. Die Technologie des Fraunhofer IOSB geht damit über die reine Bilderkennung hinaus und interpretiert Aktivitäten im Kontext. Die Forscher haben das System zunächst angelernt, indem sie zahlreiche Kameraaufnahmen per Hand annotierten: Wo befinden sich Hände, Füße, Schultern der Personen, wo sind Objekte wie Smartphones, Bücher und Co. zu erkennen? Anschließend evaluierten sie die Algorithmen mit neuen Bildern und korrigierten oder verifizierten deren Ergebnisse.

Aufnahmen des Fahrers oder der Insassen abstrahiert das System zu einem digitalen Skelett – einer Art Strichmännchen, das die Körperpose der Person nachbildet. Aus der Skelettbewegung und einer ergänzenden Objekterkennung wiederum schließt es auf die Aktivität. »Die Algorithmen wissen also, ob jemand schläft oder auf die Straße blickt, wie abgelenkt die Person ist und wie lange es dauert, bis die volle Aufmerksamkeit wieder auf den Verkehr gerichtet werden kann«, erläutert Voit. Hierfür werden sowohl klassische Videokameras unterstützt als auch Infrarotkameras, die im Dunkeln sehen können, sowie 3D-Kameras, die die Entfernung der Objekte zur Kamera messen. Auch bei der Platzierung der Kameras lässt das System den Innenraumdesignern Freiheit.

Fragen rund um die Aktivitätserkennung im Fahrzeuginnenraum bearbeiten die Forscher in zahlreichen Verbundprojekten mit Autoherstellern wie Audi und Volkswagen, aber auch Zulieferern wie Bosch und Continental. Die Projekte werden durch das Bundesministerium für Bildung und Forschung BMBF, das Bundesministerium für Wirtschaft und Energie BMWi oder das Bundesministerium für Verkehr und digitale Infrastruktur BMVI unterstützt.  »Wir erkennen nicht nur die Aktivitäten des Fahrers, sondern aller Insassen im gesamten Fahrzeuginnenraum«, bekräftigt Voit. »Die Technologie ist bereit für die Vorserie. Wir stehen schon im ersten Kontakt mit Unternehmen, die unsere Technologie nutzen wollen.«

Relevante Anbieter


  1. Aktivitäten des Fahrers genau überwachen
  2. Fahrsimulator unterstützt bei der Forschung

Das könnte Sie auch interessieren

Verwandte Artikel

Fraunhofer IOSB (Institut für Optronik, Systemtechnik und Bildauswertung), Audi AG