Wenn Chatbots zu Kollegen werden
Studie zeigt die blinden Flecken der Klinik-KI
ChatGPT, Claude & Co. sind längst im Klinikalltag angekommen – oft ohne Freigabe, Leitlinie oder ein entsprechendes Sicherheitskonzept. Eine neue Nature-Studie von Else-Kröner-Forschenden zeigt, wo Sprachmodelle Patienten gefährden können und warum die Regulierung mit der Technik kaum Schritt hält.
Ein Radiologe tippt eine Frage zu einem unklaren Tumorbefund in ChatGPT, weil die Leitlinienrecherche schneller geht als der Griff zum Fachbuch. Eine Assistenzärztin lässt sich vom Sprachmodell einen Entlassbrief vorformulieren, während die Nachtschicht drängt. Solche Szenen sind längst gelebter Klinikalltag – nur eben meist ohne Freigabe, ohne Leitlinie und ohne dass jemand im Haus genau weiß, welches Risiko dabei genau mitläuft. An diesem blinden Fleck setzt eine neue Übersichtsarbeit an, die Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden gemeinsam mit dem Universitätsklinikum Dresden sowie nationalen und internationalen Partnern in Nature veröffentlicht haben.
Die Autor:innen bündeln für ihre Analyse Perspektiven aus medizinischer KI-Forschung, Cybersicherheit, Regulatorik, Ethik und Verhaltenspsychologie. Dieser interdisziplinäre Zugriff ist bemerkenswert, weil er deutlich macht: Die Risiken großer Sprachmodelle (Large Language Models, LLMs) in der Medizin lassen sich nicht allein technisch lösen. Sie betreffen Trainingsdaten ebenso wie IT-Infrastruktur, aber auch das Verhalten der Anwender:innen am Bildschirm.
Die Risiko-Ebenen eines KI-Systems
Die Studie strukturiert die Gefahren entlang des gesamten Lebenszyklus eines KI-Systems – vom Modell-Design über die Trainingsdaten bis zur täglichen klinischen Anwendung. Für die Praxis lassen sich die Befunde in drei Kategorien fassen:
Risikoebene | Kernproblem | Beispiel aus dem Klinikalltag |
|---|---|---|
Sicherheitsrisiken | Manipulierte Trainingsdaten, Prompt Injections, IT-Schwachstellen | Versteckte Anweisungen führen dazu, dass ein Tumor in einer Gewebeprobe nicht erkannt wird. |
Modellinhärente Risiken | Halluzinationen, übermäßige Anpassung an Nutzererwartungen | Plausibel klingende, aber falsche Diagnosevorschläge. |
Mensch-KI-Interaktion | Automation Bias, Confirmation Bias, sinkende Verlässlichkeit bei komplexen Eingaben | Überzeugend formulierte KI-Antworten werden unkritisch übernommen. |
Besonders der zweite Punkt sollte Kliniken aufhorchen lassen: Halluzinationen sind bei allgemeinen Sprachmodellen ein bekanntes, oft belächeltes Phänomen. Im OP-Bericht oder in der Pathologiebefundung wird aus einem Kuriosum jedoch ein Sicherheitsrisiko mit direkter Patientenrelevanz.
Schattennutzung als strukturelles Problem
Ein Befund der Studie verdient besondere Aufmerksamkeit: Viele LLM-Systeme laufen nicht lokal, sondern über externe Cloud-Infrastrukturen, was Fragen zu Datenkontrolle und Datenschutz aufwirft. Gleichzeitig etabliert sich vielerorts eine informelle »Schattennutzung« von Sprachmodellen im Klinikalltag, oft komplett ohne institutionelle Sicherheitsmaßnahmen. Erstautor Dr. Jan Clusmann bringt das Dilemma auf den Punkt: Die Systeme könnten klinische Abläufe sinnvoll unterstützen, ihr sicherer Einsatz sei aber »nicht selbstverständlich«.
Das ist der eigentliche »wunde Punkt« im klinischen Alltag: Anders als zugelassene Medizinprodukte, deren Einsatz über die MDR-Konformitätsbewertung und das Risikomanagement nach ISO 14971 reguliert ist, bewegt sich die Schattennutzung von Chatbots außerhalb jeder etablierten Aufsichtsstruktur. Wer als Hersteller oder IT-Verantwortlicher glaubt, das Thema betreffe nur »echte« KI-Medizinprodukte, unterschätzt damit ein Risiko, das längst im eigenen Haus existiert – nur eben unsichtbar.
Empfohlene Gegenmaßnahmen
Die Forschenden schlagen ein Bündel an Maßnahmen vor, das von sicheren Entwicklungsprozessen, sorgfältig aufbereiteten Trainingsdaten, systematischer Evaluation bis zu kontinuierlichem Monitoring der Modelle im Betrieb reicht. Klar definierte Zuständigkeiten innerhalb der Kliniken gelten dabei als ebenso wichtig wie die technischen Schutzmaßnahmen selbst. Prof. Esther Troost, Dekanin der Medizinischen Fakultät der TU Dresden, betont, dass wissenschaftliche Evidenz zu Sicherheit und Nutzen ein »wichtiger Beitrag für eine verantwortungsvolle Digitalisierung der Medizin« sei.
Ein besonders konkreter Vorschlag der Studie: der Aufbau spezialisierter »Security Operations Centers (SOCs) for AI«. Solche Einheiten sollen KI-Vorfälle institutionsübergreifend erkennen und koordinierte Gegenmaßnahmen ermöglichen. Prof. Jakob N. Kather, der die Forschungsgruppe am EKFZ leitet, fasst die Dringlichkeit zusammen: KI werde bereits eingesetzt, »häufig ohne formale Aufsicht«.
Diese Idee eines SOC for AI übersetzt ein Konzept aus der klassischen Cybersicherheit in den Klinikkontext – und schließt damit eine Lücke, die in Krankenhäusern mit ihren oft historisch gewachsenen, heterogenen IT-Landschaften besonders groß ist. Für Hersteller vernetzter Medizingeräte ist das kein neues Thema, für den Einsatz generativer KI in der Breite aber bislang kaum etabliert.
Regulatorik hinkt hinterher
Die Analyse deckt zudem eine strukturelle Regulierungslücke auf: Nur ein kleiner Teil der eingesetzten KI-Systeme ist bislang formal als Medizinprodukt zugelassen. Der bestehende regulatorische Rahmen sei nicht auf Technologien ausgelegt, die sich kontinuierlich weiterentwickeln, so die Autor:innen. Prof. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ, fordert deshalb regulatorische Ansätze, die konsistente Bewertung und kontinuierliche Überwachung dynamischer Systeme ermöglichen:
Prof. Dr. Stephen Gilbert ist Professor für Medical Device Regulatory Science am Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit der TU Dresden. Nach seiner Promotion an der University of Leeds (UK) war er mehrere Jahre in der Forschung tätig. Zwischen 2017 und 2022 arbeitete er bei Biotronik und dem Digital Health Start-up Ada Health auf Industrieseite, bevor er 2022 in die akademische Forschung zurückkehrte.
»Um die Patientensicherheit zu gewährleisten und zugleich einen zeitnahen Nutzen für Patient:innen sowie das Gesundheitssystem durch KI-Systeme zu ermöglichen, braucht es geeignete regulatorische Ansätze, die eine konsistente Bewertung und kontinuierliche Überwachung sicherstellen. Technologische Entwicklung sowie Aufsichts- und Überwachungsmechanismen müssen enger verzahnt werden, um das Potenzial großer Sprachmodelle sicher zu nutzen.«
Dieser Punkt trifft einen wunden Punkt der aktuellen MDR-Praxis: Ein Sprachmodell, das sich durch Fine-Tuning oder neue Trainingsdaten laufend verändert, passt schlecht in ein Zulassungssystem, das auf statische Produktversionen ausgelegt ist. Ähnliche Debatten gab es bereits um adaptive Algorithmen in der Bildgebung, nur bieten LLMs durch ihre breite, oft fachfremde Einsetzbarkeit ein deutlich größeres Einfallstor für unkontrollierte Nutzung. Wer im Bereich Healthcare über KI-Regulierung spricht, wird künftig kaum noch um die Frage herumkommen, wie sich »lernende« Systeme in ein Zulassungsregime einpassen lassen, das ursprünglich für unveränderliche Hardware und Software konzipiert wurde. (uh)
// Health Electronics Summit //
Cybersicherheit in der Medizintechnik-Praxis
22. September 2026, Mövenpick Airport Stuttgart
