Startseite > Medizintechnik > E-Health > Chancen und Risiken von LLM-basierten Gesundheitsanwendungen

Regulierung von Medizin-KI

Chancen und Risiken von LLM-basierten Gesundheitsanwendungen

26. August 2024, 15:40 Uhr | mit Material der TU Dresden (uh)

LMMs-basierte KI-Applikationen verzeichnen einen Boom in der Medizin - ihr Einsatz ist jedoch ncht ohne Risiko und gehört engmaschig überwacht, fordern Dresdner KI-Wissenschaftler.

Wo liegen Stärken, Schwächen und regulatorische Hürden von großen Sprachmodellen in der Medizin? Dresdner Medical-AI-Forscher fordern auf LLMs abgestimmte Regeln und die dringende Durchsetzung bestehender Vorschriften. Ein Zögern gefährde nicht nur Patienten sondern das Potenzial der Medizin-KI.

▶ Diesen Artikel anhören

Anwendungen, die auf Künstlicher Intelligenz (KI) basieren, sind mittlerweile ein unverzichtbarer Bestandteil der Medizin. Große Sprachmodelle– wie GPT-4 bieten vielfältige Unterstützung in der Diagnose, Versorgung und Betreuung von Patientinnen und Patienten. Gleichzeitig gibt es Bedenken bezüglich ihrer Sicherheit und Regulierung.

Risiken des KI-Einsatz in der Medizin

Dies liegt u.a. daran, dass Ergebnisse häufig variieren, schwer nachvollziehbar sind und das Risiko erfundener Aussagen (Halluzinationen) bergen. Die Zulassung LLM-basierter Anwendungen für medizinische Zwecke als Medizinprodukte nach US- und EU-Recht stellt die zuständigen Behörden deshalb vor Herausforderungen.

Trotz der Risiken, etwa durch Fehldiagnosen oder ungeprüfte medizinische Ratschläge, sind solche Anwendungen bereits auf dem Markt erhältlich. Seit der Einführung von großen Sprachmodellen haben Entwickler wie Google, Meta, OpenAI und Microsoft diese stetig verbessert und neue Modelle vorgestellt. Auch für medizinische Anwendungen wird deren Leistung immer besser.

In der Fachzeitschrift »The Lancet Digital Health« geben Forschende um die Professoren Stephen Gilbert und Jakob N. Kather vom Else Kröner Fresenius Zentrum für Digitale Gesundheit der Technischen Universität Dresden einen Überblick über Stärken und Schwächen sowie die regulatorischen Herausforderungen aktueller Gesundheitsanwendungen, die auf großen Sprachmodellen, sogenannten Large Language Models – LLMs, basieren.

»LLMs haben das Potenzial die Gesundheitsversorgung zu verändern und gewinnen in den Bereichen Krebsdiagnose und -behandlung sowie bei Vorsorge, Fernbetreuung, Dokumentation und Unterstützung bei medizinischen Entscheidungen immer mehr an Bedeutung. Sie bieten großes Potenzial, bergen aber auch Risiken“
Prof. Dr. med. Jakob N. Kather

Derzeit werde noch intensiv daran geforscht, ob bei medizinischen Anwendungen die Vor- oder Nachteile überwiegen. Abgesehen von den vielseitigen Möglichkeiten und Chancen weisen die Forschenden in ihrer Publikation klar auf offene rechtliche und ethische Fragen hin, insbesondere mit Blick auf Datenschutz, Wahrung des geistigen Eigentums sowie auf die Problematik geschlechtsspezifischer und rassistischer Vorurteile.

Matchmaker+ Anbieter zum Thema

zu Matchmaker+

Zulassung als Medizinprodukte erforderlich

Sobald Anwendungen medizinischen Rat für Laien bezüglich ihrer Diagnose oder Behandlung von Erkrankungen anbieten, handelt es sich nach EU- und US-Recht um Medizinprodukte, die als solche eine entsprechende Zulassung erfordern. Während die Einhaltung dieser Regelungen bei bisherigen, eng gefassten Anwendungen relativ eindeutig war, stellt die Vielseitigkeit der LLMs die Behörden vor regulatorische Herausforderungen. Trotz rechtlicher Unklarheiten, sind solche Anwendungen jedoch unreguliert und ohne Zulassung durch die zuständigen Behörden auf dem Markt erhältlich. Die Forschenden machen deutlich, dass Behörden in der Pflicht stehen, geltende Regeln durchzusetzen.

Gleichzeitig sollten sie sicherstellen, dass angepasste Rahmenbedingungen für die Prüfung und Regulierung von auf großen Sprachmodellen basierenden Gesundheitsanwendungen entwickelt werden. Prof. Dr. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit der TU Dresden, sagt:

»Diese Technologien existieren bereits auf dem Markt und wir müssen zwei grundlegende Dinge beachten, um eine sichere Entwicklung solcher Anwendungen zu gewährleisten. Erstens braucht es passende Methoden, um diese neuen Technologien bewerten zu können. Zweitens müssen die geltenden rechtlichen Vorgaben gegenüber unsicheren LLM-Anwendungen auf dem Markt durchgesetzt werden. Das ist unerlässlich, wenn wir diese medizinischen KI-Anwendungen in Zukunft sicher nutzen wollen«. (uh)

Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit
Das EKFZ für Digitale Gesundheit an der TU Dresden und dem Universitätsklinikum Carl Gustav Carus Dresden wurde im September 2019 gegründet. Es wird mit einer Fördersumme von 40 Millionen Euro für eine Laufzeit von zehn Jahren von der Else Kröner-Fresenius-Stiftung gefördert. Das Zentrum konzentriert seine Forschungsaktivitäten auf innovative, medizinische und digitale Technologien an der direkten Schnittstelle zu den Patientinnen und Patienten. Ziel ist, das Potenzial der Digitalisierung in der Medizin voll auszuschöpfen, um die Gesundheitsversorgung, die medizinische Forschung und die klinische Praxis zu verbessern.

Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit

Das EKFZ für Digitale Gesundheit an der TU Dresden und dem Universitätsklinikum Carl Gustav Carus Dresden wurde im September 2019 gegründet. Es wird mit einer Fördersumme von 40 Millionen Euro für eine Laufzeit von zehn Jahren von der Else Kröner-Fresenius-Stiftung gefördert. Das Zentrum konzentriert seine Forschungsaktivitäten auf innovative, medizinische und digitale Technologien an der direkten Schnittstelle zu den Patientinnen und Patienten. Ziel ist, das Potenzial der Digitalisierung in der Medizin voll auszuschöpfen, um die Gesundheitsversorgung, die medizinische Forschung und die klinische Praxis zu verbessern.