3D-Objektverfolgung mit FPGA-unterstützter Bildverarbeitungstechnik Augenoperationen in Echtzeit simulieren

Eine Multisensor-FPGA-Kamera von VRmagic mit vier abgesetzten, pixelsynchronen Global-Shutter-Sensoren
Eine Multisensor-FPGA-Kamera von VRmagic mit vier abgesetzten, pixelsynchronen Global-Shutter-Sensoren

Mit dem Augenoperations-Simulator »Eyesi« von VRmagic lassen sich Augenoperationen realitätsgetreu nachahmen. Er beruht auf einer Multisensor-FPGA-Kamera des Unternehmens mit vier abgesetzten, pixelsynchronen Global-Shutter-Sensoren und auf entsprechenden Algorithmen für optisches Echtzeit-Tracking.

Bildverarbeitungstechnik wird in der Medizin in unterschiedlichen Bereichen eingesetzt, beispielsweise in Bildgebungs- und Auswertungsverfahren zur Diagnostik oder in der Simulation und computergestützten Planung und Durchführung von Operationen durch Roboter. Ein weiteres Anwendungsfeld sind Virtual- und Augmented-Reality-Simulatoren für die medizinische Ausbildung. Mit solchen Trainingssimulatoren beschäftigt sich VRmagic seit 2001. Kernkompetenz des Mannheimer Unternehmens ist die Entwicklung von Soft- und Hardware für Virtual-Reality-Anwendungen. Dazu gehören die Entwicklung von Simulationsalgorithmen und Kamerasystemen sowie optisches Echtzeit-Tracking.

Für 3D-Applikationen bietet VRmagic einerseits Multisensor-Kameras mit bis zu vier abgesetzten, pixelsynchronen Sensoren und andererseits 3D-Flächensensoren, die fertig berechnete 3D-Datensätze für die industrielle Bildverarbeitung liefern. Eine Multisensor-FPGA-Kamera mit vier abgesetzten Global-Shutter-Sensoren für pixelsynchrone Bilder dient als Grundlage für den Augenoperations-Simulator »Eyesi« von VRmagic, mit dem angehende Augenchirurgen operative Eingriffe ohne Risiko für Patienten trainieren können - ähnlich der Ausbildung von Piloten mit einem Flugsimulator. Für die medizinische Ausbildung bringt der Einsatz von Virtual-Reality-Technik mehrere Vorteile: Studierende können schon früh in der Ausbildung praktische Erfahrungen sammeln, ohne dabei Patienten zu gefährden. Alle menschlichen Pathologien - auch seltene Fälle - lassen sich simulieren und stehen am Simulator jederzeit zu Trainingszwecken zur Verfügung. Von Teilschritten bis zu komplexen Operationsabläufen können Trainingsinhalte auf den individuellen Leistungsstand zugeschnitten werden. Dabei lassen sich Übungseinheiten gezielt und so oft wie nötig wiederholen. Außerdem ermöglichen die vom Trainingssystem gelieferten Auswertungsdaten eine objektive Beurteilung der chirurgischen Leistung.

Realitätsnahe Mensch-Maschine-Schnittstelle

Bei der Entwicklung des »Eyesi«-Simulators wurden alle wesentlichen Aspekte einer echten Operation in die Simulationsumgebung integriert: Der Chirurg sitzt in gewohnter Haltung an einem Operationsmikroskop und führt frei bewegliche Operationsinstrumente in das mechanische Auge eines Modellkopfs ein. Im Inneren des Modellkopfs befindet sich ein optisches Tracking-System, das die Bewegungen der Instrumente verfolgt und deren Position, Ausrichtung und Orientierung an einen Computer weitergibt. In Echtzeit wird das Verhalten von Flüssigkeiten und Gewebe bei Berührung durch die Instrumente simuliert. Der Operateur sieht auf den Displays des Mikroskops statt eines realen Bildes die Simulation. Damit er tatsächlich den Eindruck hat, die Operation real durchzuführen, muss die Zeitverzögerung der visuellen Wiedergabe unter der menschlichen Wahrnehmungsschwelle von 50 bis 100 ms liegen.

Das optische Tracking im Innenraum des Patienten-Modellkopfs erfolgt mit Hilfe von Farb-Markern: Sowohl das drehbar gelagerte, mechanische Modellauge als auch die Spitzen der Operationsinstrumente sind farbig gekennzeichnet. So lassen sich Position und Ausrichtung von Auge und Instrumenten bestimmen.

Nach einer parallelen Vorverarbeitung der Bilddaten im FPGA der Multisensor-Kamera kann der verlustfrei komprimierte Datenstrom über ein einziges USB-Kabel an den Computer übertragen werden. Dort erfolgt die weitere Auswertung des Datenstroms. Eine Blob-Segmentierung liefert die 2D-Koordinaten für jeden Farb-Marker, so dass die genaue Lage und Ausrichtung des Modellauges und der Instrumente in 3D rekonstruierbar sind.

Auf Basis der gemessenen 3D-Daten können die biomechanischen Simulationsalgorithmen, die für »Eyesi« entwickelt wurden, in Echtzeit das Verhalten von Gewebe bei Kollision mit den Instrumenten berechnen. Das simulierte Bild des Augeninnenraums wird jeweils für das linke und das rechte Auge auf einem OLED-Microdisplay im Stereo-Mikroskop des Simulators abgebildet. Der Operateur erhält so den gewohnten stereoskopischen Bildeindruck. Die Update-Rate des Systems liegt über 30 Hz. Die verzögerungsfreie Darstellung ermöglicht den so genannten Immersionseffekt, bei dem der Anwender den Unterschied zwischen Realität und simulierten Bildern nicht mehr wahrnimmt.