Gestensteuerung Don't touch this

Touchscreens sind weitverbreitet und vom Anwender leicht zu bedienen, doch nicht für jeden Anwendungsfall geeignet. Für Applikationen, die einen physischen Kontakt erschweren oder gar unmöglich machen, bietet sich als Alternative die berührungslose Gestensteuerung an.

Fast jeder besitzt heute ein Mobiltelefon mit Touchscreen. Diese Methode zur Interaktion mit Telefonen und anderen Geräten kommt einem deshalb inzwischen fast schon selbstverständlich vor. Selbst kleine Kinder meistern diese Form der Steuerung schon nach kurzer Zeit mühelos. Doch obwohl die Touch-Technik mittlerweile weit verbreitet ist, eignet sie sich nicht für jede Aufgabe. Der Grund: Touch-Technik ist auf physischen Kontakt angewiesen, der aber in vielen Umgebungen und unter vielen Bedingungen nicht möglich ist, sodass sie für Anwendungen oftmals schlicht nicht in Frage kommt.

Derzeit werden viele Techniken entwickelt, die die Touch-Steuerung aufwerten oder auch komplett ersetzen könnten. Das größte Potenzial hat dabei die berührungslose Gestensteuerung. Denn Fakt ist, dass wir Menschen in einer dreidimensionalen Welt leben. Unsere Interaktion mit dem zweidimensionalen Touchscreen eines Telefons kommt dem Anwender deshalb gelegentlich »flach« vor, auch wenn die Mehrzahl der heutigen Mobiltelefone ein haptisches Feedback bieten.

Die berührungslose Gestensteuerung fügt der Interaktion dagegen die – bisher fehlende – z-Achse hinzu. Sie erfasst dazu mittels Sensoren Bewegungen im freien Raum. Die Ergebnisse werden anschließend mit in einer Software-Bibliothek hinterlegten Resultaten verglichen, um die Aktion zu interpretieren, bevor die entsprechende Instruktion zur Verarbeitung an den Systemcon­troller übergeben wird.

Einsatz im Entertainment- und Automotive-Bereich

Auf dem Markt gibt es bereits einige Beispiele für berührungslose Gestensteuerung. Microsoft Kinect und Nintendo Wii geben den Benutzern etwa die Möglichkeit, Aktionen auf einem Fernsehbildschirm zu steuern. Auch die Fernseher von Samsung lassen sich vom Anwender mithilfe von Gesten über den ganzen Raum hinweg bedienen. In den Automobilsektor ist die berührungslose Gestensteuerung ebenfalls vorgedrungen: Schon seit 2016 verwendet BMW die Technik in seiner 7er-Serie für verschiedene Funktionen.

Die Sensoren, die in solchen Gestensteuerungsapplikationen am häufigsten zum Einsatz kommen, sind Kameras und E-Feld-Sensoren. Kamerasensoren findet man in der Regel in komplexen Anwendungen wie Microsoft Kinect vor. E-Feld-Sensoren sind dagegen einfacher und kostengünstiger, wodurch sie sich für ein breiteres Anwendungsspektrum eignen. Die Funktionsweise der Sensoren beruht auf der Detektion kleinster Veränderungen eines zwischen zwei Antennen herrschenden, schwachen elektromagnetischen Felds. Sobald ein Objekt, zum Beispiel eine menschliche Hand, mit dem Feld interagiert, wird die dadurch verursachte Veränderung des Feldes gemessen und mit Beispielen in der Software-Bibliothek abgeglichen.

Designideen für die berührungslose Steuerung

E-Feld-Sensoren arbeiten auch dann normal, wenn sie sich hinter nicht leitenden Werkstoffen befinden. Die Technik erfordert keinen physischen Kontakt und lässt sich deshalb auch in Bereichen anwenden, in denen die Touch-Steuerung ihre Schwierigkeiten hat, oder in denen die Bediener Handschuhe tragen müssen. Viele Anwendungen für die berührungslose Steuerung wurden für die Verwendung hinter einer physischen Barriere entwickelt. Das System kann auf diese Weise vollständig von einem Gehäuse umschlossen sein und ist damit gegen äußere Einflüsse geschützt.

Neue Techniken verlangen immer auch nach neuen Ideen. Touchscreens sind ein physisches Medium, mit dessen Hilfe sich die Absichten der Anwender einfach entschlüsseln lassen. Der Ablauf wird zudem dadurch vereinfacht, dass der Touchscreen selbst Eingabeaufforderungen und Rückmeldungen liefert – ein Luxus, den die berührungslose Erfassung nicht bietet. Um das zu kompensieren, müssen Designer bereits zu Beginn des Designprozesses einige wichtige Entscheidungen treffen. Dabei geht es unter anderem darum, wie die Position des Sensors festgestellt werden kann, wenn er sich hinter einer Barriere befindet, welche Gesten zu verwenden sind und wie dem Anwender die erfolgreiche Erfassung einer Geste kommuniziert werden kann.

Die meisten Designer lösen dies mit einem Bildschirm, der Informationen ausgibt und dem Benutzer Rückmeldungen liefert. Dabei sollten immer der Anwender und das Bestreben im Mittelpunkt stehen, ihm eine möglichst vertraute und angenehme Nutzererfahrung zu bieten.

Bei der Entwicklung der Software für berührungslose Gestensteuerungssysteme sind darüber hinaus konzeptionelle Modelle hilfreich. Mit ihnen kann der Designer ein Modell des Systems und aller benötigten Optionen erstellen. Sind die Optionen definiert, wird deutlich, welche Gesten implementiert werden müssen und welche Informationen der Benutzer auf jeder neuen Bildschirmdarstellung benötigt. Auf diese Weise lässt sich eine übersichtliche Benutzeroberfläche entwickeln, die leicht verständlich ist und sich für den Anwender natürlich anfühlt.

Einige Techniken, die bereits bei der Touch-Bedienung angewendet werden, können auch in berührungslosen Anwendungen hilfreich sein. Bei der Ausarbeitung der Bildschirmdarstellungen ist es beispielsweise wichtig, den Applikationskontext anzuzeigen. Denn nicht selten verwenden verschiedene Programme die gleichen Gesten für unterschiedliche Funktionen. Die Kontextbezogenheit der Geste sollte sich auf dem Bildschirm widerspiegeln, um die Bedienung zu erleichtern. Ebenfalls wichtig für das Design berührungsloser Steuerungssysteme ist die Umgebung, in der die Anwendung eingesetzt werden soll.

Menschen sind beim Umgang mit einem unbekannten Gerät auf der Suche nach visuellen Signalen. Diese als »Affordances« (Angriffspunkte) bezeichneten, visuellen Signale helfen dem Benutzer, sich zu orientieren und sich mit dem System vertraut zu machen. Sie zeigen alle in Frage kommenden Aktionen und sorgen so dafür, dass der Prozess logisch und vertraut wirkt.

Im Alltag erwarten wir eine Reaktion, wenn wir eine Geste machen, und nicht selten reagieren wir verwirrt, wenn unsere Aktion keine Reaktion auslöst. Mobiltelefon-Designern ist das bekannt. Sie bedienen sich daher oftmals der haptischen Rückmeldung, um den Benutzer mitzuteilen, dass eine Eingabe gültig ist. Wegen des fehlenden physischen Kontakts ist die Rückmeldung bei der berührungslosen Gestensteuerung noch wichtiger. Sie kann zum Beispiel Fehler durch mehrfache Wiederholung von Gesten vermeiden, wenn sich ein Anwender nicht sicher ist, ob seine Eingabe entgegengenommen wurde.

Praktische Beispiele

Microchip bietet ein komplettes Ökosystem für Designer an, die eine berührungslose Gestensteuerungsapplikation entwickeln wollen. Die Produkte, die unter dem GestIC-Banner des Unter­nehmens angeboten werden, basieren auf der Gesture-Controller-Familie MGC3X30 und Aurea, der GUI-Software des Unternehmens.

Der Gestensteuerungs-Chip MGC3X30 nimmt dem Haupt-Systemcontroller die Gestenerkennungsfunktionen ab. Der stromsparende Baustein kommt auf einen Erfassungsbereich von bis zu 20 cm und enthält alle Funktionsabschnitte, die zur Entwicklung eines Single-Chip-Systems zur Erfassung von Eingaben benötigt werden. Um Designern eine einfache Möglichkeit zur Evaluierung dieser Technik zu bieten, gibt es von Microchip zusätzlich verschiedene Entwicklungs-Boards. Bei Farnell ist derzeit etwa das Dual-Zone Board vom Typ Sabre Wing ab Lager lieferbar.

Den Designern stehen dabei mehrere Hardware-Optionen zur Auswahl. Eine davon ist das Gesten- und Näherungssensor Evaluation Board ADI ADUX1020-EVAL-SDP. Das Kit bietet Anwendern eine Möglichkeit zur Verbindung mit dem Sensor (ADUX1020), um die Sensordaten zu erfassen und die Gestenerkennungsfähigkeiten zu evaluieren. Benötigt wird dazu außerdem ein Evaluierungstool, das es bei ADI zum Download gibt. Die grafische Benutzeroberfläche (GUI), die sich auf einer höheren oder tiefer greifenden Ebene konfigurieren lässt, bietet eine Echtzeit-Datenanalyse und zeichnet sich durch UDP-Übertragungsfähigkeit (User Datagraph Protocol) aus. So kann das Evaluation Board an einen PC angeschlossen werden.

Eine weitere Hardware-Option für De­signer ist Flick HAT für den Raspberry Pi. Das Add-on-Board nutzt die GestIC-Technik von Microchip, um Designern, die über einen Raspberry Pi oder ein kompatibles Board verfügen, den Zugang zu einem leistungsstarken Gestensteuerungssystem zu ermöglichen. Flick HAT kann direkt an die Raspberry-Pi-Varianten Pi A+, B+, 2B und 3B angesteckt werden und erlaubt es Designern, Geräte mithilfe vertrauter Gesten zu bedienen, die in bis zu 10 cm Entfernung vom Sensor-Board gemacht werden.

Auf Github steht eine Vielzahl von Code-Beispielen zum Download zur Verfügung. Darüber hinaus sind weitere Versionen von Flick HAT für andere Entwicklungs-Boards verfügbar. Zum Beispiel ist Flick Large kompatibel zu Raspberry Pi, Arduino, BeagleBone und Genuino sowie weiteren I2C-fähigen Geräten. Der Raspberry Pi Zero wiederum wird durch Flick Zero unterstützt.

Neue Anwendungsmöglichkeiten

Die berührungslose Gestensteuerung kann die bestehende Touch-Technik sowohl ergänzen als auch ersetzen. Sie erschließt neue Anwendungen und Möglichkeiten, um auf natürliche Weise mit Maschinen zu interagieren. Auch wenn es Unterschiede zur Entwicklung von Touch-basierten Anwendungen gibt, bestehen doch auch zahlreiche Übereinstimmungen, beispielsweise hinsichtlich der Maßnahmen, die Menschen dabei helfen, sich mit der Steuerungsform vertraut zu machen.

Einfach zugänglich ist die berührungslose Steuerung auf jeden Fall – sei es über ein maßgeschneidertes Ökosystem oder in Form eines Add-ons für Entwicklungs-Boards.

 

 

Die Autorin

Courtney Kennedy kam 2017 als Technology So­lutions Marketing Manager zu Farnell. Sie leitet unter anderem Marketingprogramme für Produktneueinführungen, darunter Entwicklungs-Kits, Einplatinencomputer sowie Software, und führt unternehmensweite technische Schulungen durch.

Kennedy hat einen Abschluss in Elektronik sowie Informatik und verfügt über umfangreiche Erfahrung im Bereich Produktdesign und -entwicklung. Sie hat mit Firmware- und Software-Entwicklung sowie moderner Technik im Bereich Motor­design und -steuerung gearbeitet und dabei Robotik und Mechatronik mit der menschlichen Anatomie verknüpft.