Training für robotergestützte Chirurgie
KI als Mentor für die Roboter-OP
Robotergestützte Chirurgie setzt sich in der Klinik durch – doch die Ausbildung von ChirurgInnen bleibt ein struktureller Engpass. Das Forschungsprojekt GRATA verbindet generative KI, semantische Wissensmodelle und Simulation als adaptives OP-Trainingssystem.
Und erschafft damit einen Mentor für die ChirurgInnen von morgen.
Die robotergestützte Chirurgie hat sich in den vergangenen Jahren von einer visionären Technologie zu einem klinischen Werkzeug mit steigender Relevanz entwickelt. Sie ermöglicht minimalinvasive Eingriffe mit hoher Präzision und Reproduzierbarkeit – insbesondere in sensiblen Bereichen wie der Augenchirurgie. Doch genau hier liegt ein strukturelles Problem: Die Komplexität dieser Systeme wächst schneller als die Fähigkeit, ChirurgInnen und AnästhesistInnen effizient und sicher darauf auszubilden. Vor dem Hintergrund des zunehmenden Fachkräftemangels gewinnt das zusätzliches Gewicht.
Vom Engpass zur Innovation
Klassische Trainingsmethoden stoßen hierbei an ihre Grenzen. Reale OP-Zeit ist knapp, Robotersysteme sind teuer, und Trainingsmöglichkeiten lassen sich kaum skalieren. Gleichzeitig steigt der Bedarf: Erkrankungen wie die altersabhängige Makuladegeneration (AMD) nehmen zu und erfordern hochspezialisierte Eingriffe – Fähigkeiten, die sich nicht allein durch theoretisches Wissen vermitteln lassen.
Das Forschungsprojekt GRATA (GraphRAG-basiertes Trainings- und Ausbildungssystem) setzt mit generativer KI und einem Graph-basierten RAG-Ansatz genau hier an. Ziel ist ein durchgängig digitales, modulares Ausbildungssystem, das den chirurgischen Workflow am Beispiel der robotergestützten Augenchirurgie abbildet – sowohl technische als auch organisatorische Aspekte – und das medizinische Personal in allen Phasen komplexer Eingriffe unterstützt: von der Vorbereitung bis zur Durchführung.
Vom statischen zum adaptiven Lernen
Im Zentrum von GRATA steht ein Paradigmenwechsel: weg von standardisierten Lehrinhalten, hin zu einem dynamischen, datengetriebenen Prozess. Das System integriert verschiedene technologische Komponenten zu einer durchgängigen Lernumgebung, die sich an den individuellen Fortschritt der ÄrztInnen in Ausbildung anpasst.
Ein wesentliches Element sind spezialisierte medizinische Sprachmodelle. Trainiert auf medizinisches Fachvokabular, können sie Fragen beantworten, Instruktionen geben, Abläufe erklären und kontextabhängige Dialoge führen. Entscheidend dabei: Die KI arbeitet nicht isoliert, sondern ist mit strukturierten Wissensmodellen verknüpft – das schafft die Grundlage für nachvollziehbare und fachlich korrekte Interaktionen.
Parallel verarbeitet das System kontinuierlich Sensor- und Roboterdaten aus der Trainingsumgebung in Echtzeit. Es erfasst und analysiert Bewegungen, Instrumentenpositionen und Prozessschritte und gleicht sie mit hinterlegten Sollabläufen ab. Auf dieser Basis generiert das System Rückmeldungen in Echtzeit, erkennt Abweichungen und unterstützt angehende ChirurgInnen und AnästhesistInnen dabei, ihre Handlungen zu präzisieren.
| Fortiss |
|---|
Semantik: Daten erhalten Bedeutung
Eine Schlüsselrolle spielt die strukturierte Abbildung komplexer chirurgischer Prozesse. Das Münchner Forschungsinstitut Fortiss entwickelt dafür eine intelligente Datenbasis auf Grundlage semantischer Wissensmodelle – notwendig, damit KI-Systeme nicht nur Daten verarbeiten, sondern Zusammenhänge verstehen und situationsabhängig reagieren können.
Ausgangspunkt sind Ontologien: strukturierte Wissensmodelle, die ein einheitliches Vokabular für OP-Prozesse, beteiligte Rollen und Instrumente definieren. Darauf aufbauend entstehen Prozessmodelle, die chirurgische Eingriffe Schritt für Schritt abbilden – nicht nur was passiert, sondern in welchem Kontext: Wer führt welche Handlung aus, mit welchem Instrument, unter welchen Bedingungen? Ergänzt werden die Modelle durch Szenegraphen, die die gesamte Operationsumgebung als vernetztes System darstellen: statische Informationen wie Geräte und Instrumente, verknüpft mit dynamischen Zuständen und Interaktionen.
Der GraphRAG-Ansatz von Fortiss verbindet dieses strukturierte Wissen mit generativer KI. Im Unterschied zu klassischen Ansätzen, die primär auf unstrukturierten Texten basieren, greift er gezielt auf semantisch modelliertes Fachwissen zurück – medizinische Zusammenhänge können so nicht nur beschrieben, sondern kontextgerecht und nachvollziehbar interpretiert werden.
Bild 3. Während der Simulation wird der Roboter über das am Klinikum rechts der Isar entwickelte Bediengerät geführt.
Der Weg zur intelligenten Assistenz
Durch die kontinuierliche Erfassung von Bewegungs-, Instrumenten- und Roboterdaten wird der operative Ablauf nicht mehr nur dokumentiert, sondern in seinem Kontext verstanden. Das System erkennt einzelne Handlungsschritte automatisch und ordnet diese in den Gesamtverlauf des Eingriffs ein.
»Dank der spezifischen Wissensmodelle wird das System verstehen, in welcher Phase sich ein Eingriff befindet, welche Schritte bereits korrekt durchgeführt wurden und an welcher Stelle potenzielle Abweichungen auftreten. Diese Schritte sollen in Echtzeit identifiziert und durch gezielte, situationsabhängige Hinweise adressiert werden. Auf diese Weise entsteht eine Art digitaler Mentor, der den Eingriff nicht nur beobachtet, sondern fachlich fundiert begleitet und verbessert«, erklärt Dominik Mittel, Wissenschaftler bei Fortiss.
Fragt eine ChirurgIn in der Ausbildung beispielsweise nach dem nächsten Schritt oder wie ein Schnitt präziser gesetzt werden kann, berücksichtigt das System sowohl den bisherigen Ablauf als auch klinische Leitlinien und generiert eine nachvollziehbare Empfehlung. Es kann seine Vorschläge begründen und auf potenzielle Risiken hinweisen.
Von der Simulation zur Realität
Bild 4. Blick auf den Augensimulator und den Roboterarm bei der Injektion – Kernkomponenten des GRATA-Trainingssystems.
Neben der semantischen Modellierung und KI-gestützten Interaktion spielt die Simulation eine zentrale Rolle. Ziel ist es dabei, Trainingsumgebungen zu schaffen, die in der Lage sind, reale chirurgische Situationen präzise abzubilden, ohne Risiken für die Patienten einzugehen. Die Integration von Robotik in Simulationssysteme überträgt reale Bewegungsabläufe und Systemreaktionen in virtuelle Szenarien – das ermöglicht nicht nur ein realistisches Training, sondern auch die Validierung neuer Verfahren unter kontrollierten Bedingungen. Trainingsinhalte können hierbei individuell an unterschiedliche Erfahrungsstufen angepasst werden und sind unabhängig von realen OP-Kapazitäten verfügbar.
Vom Prototyp zur Plattform
Die erste gemeinsame Demonstration der integrierten Systemkomponenten am Klinikum Rechts der Isar der TU München führte die Beiträge der Projektpartner zusammen und bestätigte ihre Funktionalität in einer realen Umgebung.
»Diese Demonstration zeigt, dass die komplexe Verknüpfung von künstlicher Intelligenz, semantischen Modellen und Simulation nicht nur konzeptionell, sondern auch praktisch umsetzbar ist und in ein gemeinsames System zusammengeführt werden kann«, betont Alexander Perzylo, Wissenschaftler bei Fortiss.
Bild 5. Die Simulation bildet die Blutgefäße der Makula ab und erlaubt eine flexible Anpassung an den Trainingsfortschritt der Lernenden.
Neuer Standard für intelligentes Training
Die Kombination aus strukturierter Wissensrepräsentation, generativer KI, sensorbasierter Prozessanalyse und Simulation verändert die chirurgische Ausbildung grundlegend – und schließt die Lücke zwischen technologischer Innovation und klinischer Anwendung. Auf längere Sicht soll die Plattform auf weitere medizinische Disziplinen übertragen werden.
»Langfristig wollen wir damit einen europäischen Standard etablieren: eine validierte Plattform, die flexibel einsetzbar ist, die Patientensicherheit erhöht und dem Fachkräftemangel entgegenwirkt«, erklärt Prof. Dr. Ali Nasseri, Professor für Medizinische Autonomie und Präzisionsrobotik an der TU München. (uh)
