Um eine möglichst reale Bedienung zu schaffen, wurden alle Grafiken und Funktionen als eigenständiges Human-Machine Interface, kurz: HMI, im Graphics Competence Center von Socionext entworfen und entwickelt.
Die Nutzerschnittstelle (Bild 5) setzt sich aus verteilten 2D- und 3D-Elementen zusammen, die mit der Software-Entwicklungsplattform CGI Studio animiert wurden. Dieses HMI-Werkzeug für Embedded-Systeme bietet neben den 2D/3D-Runtime-Engines Candera auch eine komplette Entwicklungslandschaft für das Verbinden von Szenen, Simulationen und Leistungsanalysen. Eine Individualisierung des HMI und damit eine Anpassung der Grafiken und Szenen an Kundenwünsche ist einfach und kostengünstig realisierbar.
Head-up Display
Ein gängiges Winshield-HuD benötigt für die Projektion eine Anpassung an die Krümmung der Frontscheibe, damit der Fahrer im Sichtfeld keine Verzerrung sieht. Umgesetzt sind in der reinen 2D-Applikation sowohl statische Informationen, z.B. Verkehrszeichen, als auch dynamische wie Fahrzeugdistanzen und Geschwindigkeit auf einem Display angezeigt. Das im SoC integrierte „Warping on the fly“ wandelt auf Knopfdruck ein verzerrtes in ein korrektes Bild um. Diese Hardware-beschleunigte Funktion benötigt keine zusätzliche Leistung und verhält sich damit im Gesamtsystem neutral. Wie auch im Information Display wird die Funktion „Power over APIX“ eingesetzt. Hierbei wird keine eigene Spannungsversorgung für das Display benötigt, sondern es wird über das verwendete Kabel gespeist.
Information Display
Die Informationen der Fahraufgabe laufen zentriert auf einem frei programmierbaren Display zusammen. Diese Art der Anzeige aus dem Premiumsegment wird kurzfristig auch die Kleinwagen erobern, auch wenn hier keine HD-Auflösung zu erwarten ist. In diesem Anzeigesegment erfolgt eine Mischung von 2D- und 3D-Objekten auf mehreren Schichten. Die Geschwindigkeitsanzeige sowie andere Fahrinformationen basieren auf 2D-Grafiken. Der Fahrzeugstatus wird in Echtzeit 3D-animiert. Sicherlich kann man davon ausgehen, dass in einem Serienprojekt nur ein statisches, vorgerendertes 2D-Fahrzeugmodell verwendet wird, was wesentlich weniger Leistung benötigt. Auch wenn das in der Serie unwahrscheinlich ist, wurde zur Messung der GPU-Leistungsfähigkeit ein dynamisches 3D-Modell gewählt.
Das 3D-Fahrzeugmodell ist ein unabhängiges Objekt mit ca. 20.000 Polygonen, das entworfen wurde, um markenneutral aufzutreten. Ohne zusätzliche Modellierung werden die Details über Normal Mapping realisiert. Die Farben aller Oberflächen werden über eine Color Map bestimmt. Zur Steuerung von Glanzlichtern der verschiedenen Materialien kommt Specular Mapping zum Einsatz. Die Fahranimation erfolgt in der CGI-Studio-Applikation und während dieser wird zur Laufzeit eine transparente Color Map geladen. Das Fahrzeug wechselt damit von einem silbern lackierten in einen blauen, semitransparenten Modus und erscheint durchsichtig.
Zentral-Display
Das Herzstück dieser Applikation ist das zentrale Display für die hybride Bedienung fahrzeugspezifischer und auch externer Informationen. Die Grafiken sind hier rein 2D und anders als bei den anderen Displays ist dieses Touch-basiert. Die Tasten- und Touch-Informationen werden über den APIX-Rückkanal an das SoC übermittelt und interagieren direkt mit dem externen Gerät, also mit dem Smartphone.
Mit dem Anschluss des Smartphone über USB baut der Stack den Link im Hintergrund selbstständig auf. Zur Auswahl stehen zusätzlich zu Audio- auch Local-Based Services zur Verfügung. Das Telefon skaliert automatisch die Auflösung von 1920 × 1080 auf 800 × 480 Pixel. Der Verbindungsaufbau hat keinen Einfluss auf Funktionen wie Radio oder Klima. Die Bedienung kann nun über den Touchscreen des Fahrzeugs erfolgen. Erst wenn beispielsweise der Audio Stream des Smartphone per Finger auf dem Zentral-Display aktiviert wird, schaltet sich das Radio aus.
Klimasteuerung und Radio, hier simuliert mit einem MP3-Player, sind unabhängig vom angeschlossenen Smartphone. Auch wenn das mobile Gerät nicht mit an Bord ist, können alle wesentlichen Grundfunktionen bedient werden. Das Umschalten auf die Rückfahrkamera ist zu jeder Zeit möglich.