Medizintechnik
Mit Augmented Reality gegen den Brainshift
AR eignet sich nicht nur dafür, neue Spiele zu entwickeln. Auch in der Chirurgie könnte diese Technik einiges verändern. Doch dafür bedarf es der passenden Software.
Das Smartphone vibriert und »Warning: enemies nearby!« erscheint auf dem Screen. – Der Revierkampf in der Nachbarschaft beginnt. Dein Handy lässt Dich wissen: Der Mann mit der braunen Lederjacke, der gerade neben Dir auf der Bank saß, ist Teil des Spiels. Aber er gehört zum gegnerischen Team. Also schnell in Deckung gehen und auf dem Smartphone eine Waffe auswählen. Taucht jetzt ein Feind vor der Smartphone-Kamera auf, lässt er sich mit einer Salve unschädlich machen. Die virtuelle und die reale Welt werden eins.
Das Augmented Reality (AR) Game »Father.IO« gehört zu den wenigen elektronischen Spielen, die die reale Welt live ins Spielgeschehen integrieren können. Dabei geht es nicht allein um den 1:1-Kampf. Andere Spieler und ihre Positionen werden von »Father.IO« auch aus der Vogelperspektive angezeigt. So lassen sich Pläne für einen Hinterhalt schmieden, Angreifer unschädlich machen und das eigene Territorium sichern.
Die Gratis-App von »Father.IO« ist nur ein Beispiel dafür, wie sich die Welten von Informatik und realem Leben mit einem Smartphone verknüpfen lassen. Doch den Anfang von Augmented Reality, also die erweiterte Realität, markierte die Rüstungsindustrie. In den 80er-Jahren entwickelte sie Navigations- und Zielhilfen für Militärjets: Grüne Linien, die das Geländeprofil anzeigen, werden auch heute noch im Sichtfeld des Piloten auf eine halbdurchsichtige Glasscheibe projiziert. Dies bewährt sich beispielsweise bei Tiefflügen im Nebel. Eine Herausforderung bei den auf AR basierenden Navigations- und Zielhilfen war die geforderte Präzision, um das Leben der Piloten nicht zu gefährden.
Kein Spiel, sondern echte Leben retten
AR funktioniert aber heute nicht nur in der Luftfahrt oder bei Spielen, wo es um Distanzen von zehn oder einhundert Metern geht, sondern auch, wenn ein Millimeter über Leben und Tod entscheidet, weil man am Gehirn operiert. Mit diesem sensiblen Thema beschäftigt sich Oliver Fleig. Der Ingenieur ist bei Brainlab – einem Anbieter softwaregestützter Medizintechnik – verantwortlich für die Anwendung von Augmented Reality in der Medizin und dort vor allem in den Bereichen Mikroskopie und Video.
Oliver Fleig pflegt dafür enge Kontakte zu Neurochirurgen. Seit den 90er-Jahren entwickelt Brainlab Navigations-Software. um die Präzisionsarbeit am menschlichen Gehirn zu unterstützen. Die optimale Orientierung bei einer Hirn-OP ist deshalb wichtig, weil die Strukturen etwa von Blutgefäßen oder Nervenfasern äußerst empfindlich sind. Werden sie verletzt, kann dies zum kompletten Verlust elementarer Funktionen führen – wie dem Sehen, Hören oder der Motorik. Einige Strukturen sind vergleichbar mit dünnstem, leicht reißbarem Papier, andere sind eher gallertartig. Sie allein über das OP-Mikroskop mit dem bloßen Auge zu erkennen, fordert selbst erfahrene Neurochirurgen immer wieder aufs Neue heraus.
Dank Augmented Reality lassen sich heute Hirnstrukturen und darin wucherndes Tumorgewebe direkt im OP-Mikroskop dreidimensional darstellen. Damit Neurochirurgen diese Lösung optimal nutzen können, kommt Oliver Fleig ins Spiel. Der »Senior Project Manager Microscope & Video AR« ist für die Entwicklungen zuständig, welche die Sicht durch das Mikroskop mit den vor der Operation gemachten Aufnahmen eines Magnetresonanztomographen (MRT) zusammenführt.
Bei den bisherigen Lösungen der OP-Navigation stand die genaue Positionsbestimmung des Instrumentariums im Mittelpunkt. So wird dem Neurochirurgen auf einem Bildschirm oder im Okular des OP-Mikroskops gezeigt, wo sich die Spitze des Instruments befindet. Als Landkarte dienen vor dem Eingriff angefertigte MRT-Aufnahmen. Einem Laien erscheinen die abgebildeten Hirnstrukturen als wolkenartige, kaum konturierte Landschaften. Dank ausgefeilter Software lassen sich daraus präzise Ansichten des Gehirns generieren. Dazu steht dem Chirurgen unter anderem ein Smartbrush-Programm zur Verfügung. Vor einer OP kann er am Computer mit einer Maus oder auf einem Touchscreen entlang der sichtbaren Konturen des Tumors fahren.
Hierbei funktioniert der Pinsel so wie bei einem Grafikprogramm. Die von Brainlab entwickelte Software erkennt automatisch die präzisen Konturen des Tumors und umschließt sie einem Lasso gleich. Das Besondere ist, dass der Chirurg den Smartbrush in verschiedenen Ebenen führen kann. Das so markierte Objekt ergänzt die Software automatisch präzise bis zu seinen Grenzen und errechnet ein dreidimensionales, farblich abgesetztes Modell des Tumors. Dies lässt sich dann beispielsweise ins Sichtfeld des OP-Mikroskops einblenden.
Gefragt: Mathe, Physik und noch viel mehr
Zum Zeitpunkt der radiologischen Untersuchung befindet sich das Hirn fest umschlossen im Schädel. Der aber wird bei der OP geöffnet. Dadurch verschieben sich die Hirnstrukturen. »Brainshift« nennt das Oliver Fleig. Trotzdem bleiben den Neurochirurgen Bezugspunkte wie beispielsweise das Hirn durchziehende Blutgefäße. Dies erkennt die Software und integriert sie in das MRT-Bild, das wiederum in das Sichtfeld des OP-Mikroskops eingespiegelt wird. Sind die mit dem Auge erkennbaren Gefäße jedoch nicht mehr deckungsgleich mit denen der MRT-Aufnahme, fehlt den Operateuren eine wichtige Orientierungsmöglichkeit. Hier kommt die von Brainlab entwickelte Software zum Zug: Über ein Touchscreen kann der Chirurg das Bild wieder in Deckung mit der Perspektive des Mikroskops bringen.
Diesen Overlay hinzubekommen, fordert die Entwickler: »Die größte Challenge ist mathematischer Natur in Form von analytischer und projektiver Geometrie«, sagt Fleig. Denn Zoom und Fokus verändern die optischen Eigenschaften des Mikroskops – etwa bei veränderten Einstellungen zu Vergrößerung oder dem Arbeitsabstand zwischen Betrachter und OP-Feld. Diese Eigenschaften müssen mathematisch modelliert und jedes Mikroskop entsprechend der gegebenen Werte kalibriert werden. Das ist deshalb wichtig, weil das Overlay, also die Einspiegelung von Augmented Reality, am richtigen Ort in der richtigen Größe erscheinen muss. Nur so können die Neurochirurgen hochpräzise operieren.
Damit Ärzte in Echtzeit verlässliche Informationen zur Verfügung stehen, muss die AR-Software so programmiert sein, dass sie die Daten zu Zoom und Fokus des OP-Mikroskops kontinuierlich verarbeiten kann. Entwickler wie Fleig müssen deshalb ein großes Verständnis für die Optik im Allgemeinen und die geometrische Optik im Speziellen mitbringen. Eine weitere Herausforderung besteht darin, die Software-Lösungen so zu entwickeln, dass sie für Chirurgen auch im OP unkompliziert – also intuitiv – nutzbar sind. »In der Validierungsphase gibt es viele Feedback-Schleifen und Workshops mit Ärzten, um die intuitive Bedienbarkeit und klinische Relevanz zu testen«, sagt der Brainlab-Ingenieur. Einzelkämpfer, die am liebsten vorm PC programmieren, sind dabei fehl am Platz. Stattdessen gehen die Developer von Brainlab in den OP und kommunizieren regelmäßig mit den Neurochirurgen.
Doch selbst, wenn Nutzer mit den Lösungen zufrieden und Präzision sowie Sicherheit nachgewiesen sind, stehen die Produkte vor einer weiteren Herausforderung: »Wir stehen vor regulatorischen Hürden und müssen jederzeit nachweisen können, dass unsere Lösungen zuverlässig nutzbar sind«, erklärt Fleig.
Es bleibt spannend…
Die Entwicklungsteams für die AR-basierte Navigation der mikroskopgestützten Neurochirurgie haben mit ihren neuen Lösungen für einen Innovationsschub gesorgt, den es seit dem Start dieser Technologie in den 90er-Jahren nicht gegeben hat.
Das aber ist nur der Anfang: Wie bei AR-Games besteht der Wunsch, in tragbare Datenbrillen eingebaute Head-up Displays (HUD) im OP einzusetzen. Auch daran arbeitet Brainlab – im Rahmen einer Partnerschaft mit Magic Leap. Das in Florida ansässige Unternehmen entwickelt Lösungen für das Spatial Computing, was eine Interaktion zwischen der realen und der virtuellen Welt erlaubt. Damit soll die Art und Weise verbessert werden, wie Mediziner auf Bild- sowie weitere Daten zugreifen können.
Anders als beim Gaming, wo der Einsatz von HUDs bereits ausgereift ist, besteht in der Medizintechnik noch großer Entwicklungsbedarf. Nicht nur, dass derzeit das Gewicht von HUDs noch zu hoch ist, um eine sechs bis achtstündige Hirn-OP durchzustehen, auch das Zusammenspiel von den Pupillen des Chirurgen, der Brille, dem eingespiegelten Bild und dem realen Geschehen im Körper des Patienten muss hochpräzise sein. Denn anders als bei »Father.IO« geht es im OP tatsächlich um Leben und Tod.
Das könnte Sie auch interessieren
Mit Highspeed nach Le Mans
Studenten entwickeln Rennauto
Merkel in Japan
Zwischen Tennō und digitaler Zukunft
