Um ihre mentale Karte zu aktualisieren, nutzen Tiere und Menschen alle Sinneseindrücke. Jedoch ist jede ihrer Bewegungen untrennbar mit ihren Empfindungen verbunden. Darum mussten die Forscher die beiden voneinander lösen, um zu verstehen, wie das Gehirn unterschiedliche Informationen verarbeitet.
Die Gruppe baute ein flexibles System für Mäuse, Fliegen und Fische. »Wir haben eine umfassende, dreidimensionale virtuelle Realität geschaffen, in der sich die Tiere frei bewegen konnten«, erklärt Straw. Dadurch konnten sich die Forscher die vorbereitete visuelle Landschaft mit den Handlungen und Wahrnehmungen der Versuchstiere verbinden.
Zu den visuellen Landschaften gehören vertikale Säulen, verschiedene Pflanzen und ein Schwarm von »Space Invaders«, Figuren aus dem gleichnamigen Computerspiel. Die genaue 3-D-Position des jeweiligen Tieres wurde mit mehreren Kameras genau verfolgt und aufgenommen. Ein Computerprogramm registrierte jede Bewegung innerhalb von Millisekunden, sodass immer ein aktuelles Bild an die Wand projiziert wurde.
Die verschiedenen Tierarten wurden dabei für unterschiedliche Tests verwendet. Dabei sollte zum Beispiel herausgefunden werden, ob Mäuse virtuelle Höhenangst haben. Mit visuellen Reizen wurde die Flugrichtung von Fliegen beeinflusst und Fische schwammen zwischen zwei unterschiedlichen Welten und wurden dabei beobachtet, wie sie ihr Verhalten je nach visueller Umgebung änderten.
In einem weiteren Versuch simulierten sie einen Schwarm von Space-Invader-Figuren, in dem sich ein echter Fisch fortbewegte. Dier Schwarm war so programmiert, dass er den Fisch als einen Teil von sich behandelte, was sich wiederum deutlich auf das Verhalten des echten Tieres auswirkte.