Sehen, was der Pilot sieht Eye Tracking für Piloten-Azubis

Im Cockpit eines A320-Flugsimulators zeichnet ein Eye-Tracking-System aus Kameras und Infrarot-Sensoren laufend die Blicke des Piloten (links) auf.
Im Cockpit eines A320-Flugsimulators zeichnet ein Eye-Tracking-System aus Kameras und Infrarot-Sensoren laufend die Blicke des Piloten (links) auf.

Eine an der ETH Zürich entwickelte Eye Tracking Software für die Ausbildung von Piloten soll künftig das Blickverhalten der Flugschüler im Cockpit auswerten. Damit soll das Training im Flugsimulator verbessert und die Sicherheit im Cockpit erhöht werden.

Beim Fliegen müssen Piloten und Co-Piloten eine enorme Menge an visuellen, akustischen und räumlichen Informationen verarbeiten und laufend die zahlreichen Instrumente im Cockpit überwachen. Bei einem Manöver gilt es, rasch die richtigen Anzeigen in einer bestimmten Reihenfolge zu beachten.

Dieses »Scanning« der Flugsysteme verinnerlichen Piloten bereits in der Ausbildung. Doch selbst für erfahrene Instruktoren ist es schwierig zu beurteilen, ob ein Flugschüler im entscheidenden Moment die richtigen Instrumente betrachtet. 

In einer Kooperation mit der Fluggesellschaft Swiss wenden Forscher um ETH-Professor Martin Raubal nun erstmals Eye-Tracking-Technologien an, um nachzuvollziehen, wie Piloten die Automatik eines modernen Verkehrsflugzeugs überwachen. Wie das geht, zeigt das Video:


 

Eye Tracking ermöglicht es,…

…die Augenbewegungen einer Person mittels kamerabasierter Blickmessgeräte exakt zu erfassen. »Weil die Augenbewegungen eines Menschen Rückschlüsse über seine Denkprozesse erlauben, kam Swiss mit der Idee auf uns zu, Eye Tracking für die Pilotenausbildung nutzbar zu machen«, sagt Martin Raubal, Professor für Geoinformations-Engineering an der ETH Zürich.

Enstanden ist eine Software namens »iAssyst«, die Fluglehrer bei der Schulung angehender Piloten unterstützt. iAssyst steht für Instructor Assistant System. Das Programm verknüpft Video, Audio-, und Simulator-Aufnahmen und stellt gleichzeitig das Blickmuster der Piloten dar. Um Letztere nicht zu stören, wurde im Cockpit eines A320-Flugsimulators eigens ein Eye-Tracking-System aus fest installierten Kameras und Infrarot-Sensoren installiert. 

»Das Aufsetzen des Systems…

...und die Kalibrierung für jeden Flugschüler sind zwar aufwändiger als bei Eye-Tracking-Brillen, aber wir erreichten damit bessere Resultate«, erklärt David Rudi, der die Anwendung während seines Doktorats am Geogaze-Lab der Professur für Geoinformations-Engineering realisierte.

Während eines Trainingsflugs sitzt der Instruktor im hinteren Teil des Cockpits. Dort bedient er den Simulator, agiert als Fluglotse und beobachtet gleichzeitig den Piloten genau. »Das führt dazu, dass Instruktoren manchmal relevante Informationen verpassen oder falsch einschätzen, die für die Auswertung des Trainings mit dem Piloten bedeutend sind«, sagt Rudi.

Die Rückmeldungen aus der Studie zeigen,…

...dass die Instruktoren das Flugverhalten der Piloten mit iAssyst tatsächlich präziser analysieren konnten. »Das Werkzeug hilft uns, Schwächen im systematischen Scannen zu erkennen und Wahrnehmungslücken in bestimmten Flugphasen zu orten«, bestätigt Benedikt Wagner. Der Swiss-Pilot ist selber Instruktor und hat das Eye-Tracking-Projekt seitens Swiss betreut. Mit der Software könnten Ausbilder die Ursachen für allfällige Pilotenfehler besser einschätzen und das Training gezielt anpassen.

Es ist das erste Mal,…

...dass ein Forschungsprojekt die blickbasierten Interaktionen von Piloten in einem Flugsimulator analysiert. Als Teil der Kooperation war es für Raubals Team wichtig, einen eigenständigen wissenschaftlichen Nutzen zu generieren, da für die ETH eine optimierte Pilotenausbildung per se als Ziel nicht reichte. «Deshalb haben wir den Fokus auf die Entwicklung der Software gelegt», resümiert Rudi.

Der Swiss wiederum ging es im Projekt primär um das Scanning im Cockpit. Das konnten sie dank dem Eye-Tracking-System gemeinsam mit Aviatik-Psychologen der Nasa und der University of Oregon separat untersuchen. Die Erkenntnisse mündeten in eine neue Richtlinie für die visuelle Überwachung der Flugautomatik. Lufthansa Aviation Training stellte dem Konsortium technisches Know-how und die Infrastruktur im Simulator zur Verfügung. Schließlich hat das Bundesamt für Zivilluftfahrt BAZL rund 40 Prozent der Projektkosten übernommen.

Die naheliegende Anwendung…

...von iAssyst sehen Raubal und Rudi im Evaluierungsgespräch nach einem Trainingsflug im Simulator. Langfristig könnte das Programm auch in echten Cockpits zum Einsatz kommen. Bis dahin ist es aber noch ein weiter Weg.

Die Luftfahrt ist jedoch nicht das einzige Forschungsgebiet, in dem Eye Tracking dazu beitragen kann, die Interaktion zwischen Benutzer und technischen System zu verbessern. Laut Raubal und Rudi ist eine Anwendung ihrer Software beispielsweise auch in der Medizinausbildung denkbar, wo Ärzte mithilfe von Simulatoren chirurgische Eingriffe am künstlichen Körper trainieren.