Startseite > Medizintechnik > E-Health > »Medizintechnik-Hersteller müssen den AI Act jetzt genau lesen«

Das neue europäische KI-Gesetz

»Medizintechnik-Hersteller müssen den AI Act jetzt genau lesen«

18. März 2024, 14:12 Uhr | Ute Häußler

Hans-Peter Bursig ist Geschäftsführer des Fachverbandes Elektromedizinische Technik im ZVEI und leitet den Bereich Gesundheit des Verbands der Elektro- und Digitalindustrie. Er bittet die Medizintechnik-Hersteller um Feedback zum AI Act. Der Verband wird offene Fragen in den EU-Ausschuss zur Klärung einbringen.

Erst die MDR, jetzt der AI Act. Mit dem KI-Gesetz der EU fürchten viele MedTech-Firmen die Regulierungsfalle. Hans-Peter Bursig, Bereichsleiter Gesundheit des ZVEI, erläutert, was der AI Act für die Entwicklung von Medizin-KI in Deutschland bedeutet und wie MedTech-Unternehmen jetzt agieren sollten.

▶ Diesen Artikel anhören

Herr Bursig, wie geht es der deutschen Medizintechnik aus Ihrer Sicht gerade?

Gut. Es gibt Schwierigkeiten, keine Frage, aber die deutschen Medizintechnik-Unternehmen machen fast 70 Prozent ihres Umsatzes im Export. Neben der EU als größter Einzelmarkt sind die USA, China und weitere Auslandsmärkte extrem wichtig. Im Export machen die deutschen Hersteller den größten Teil ihres Geschäfts.

Sie sehen keine Krise wie andere Marktbarometer gerade?

Natürlich ist die MDR ein Thema, welches viele Fragen aufwirft. Haben wir nächstes Jahr noch die Medizinprodukte, die wir heute verkaufen? Doch so groß und wichtig diese Fragen rund um die MDR sind; sie werden ein Stück weit davon relativiert, dass deutsche Hersteller in Märkte exportieren, wo ein CE-Kennzeichen zwar hilfreich, aber eben nicht Voraussetzung ist. So können die Unternehmen bis zur Klärung aller MDR-Fragen zumindest Geld verdienen. Insofern schwierig, aber nicht Krise.

Für den europäischen Markt– Stichwort Krankenhausreform und Anzahl der Krankenhäuser – wird kein Wachstum für Medizingeräte erwartet.

Europa ist natürlich eine Region der Welt mit sehr vielen gut entwickelten und dementsprechend gut ausgestatteten Gesundheitssystemen. Umgekehrt zeigt eine aktuelle Untersuchung unseres europäischen Branchenverbands, dass die Hälfte bis zwei Drittel der hiesigen bildgebenden Geräte älter als zehn Jahre ist. Selbst Updates, Upgrades und Softwareverbesserungen sind endlich. Diese Medizingeräte müssen dann ersetzt und auf den neuesten Stand der Technik gebracht werden, hier hat Europa tatsächlich Nachholbedarf. Gerade Deutschland liegt beim Gerätealter eher im Mittelfeld, da bleibt noch viel Potenzial.

Wie ist der Stand der Digitalisierung bei den Medizingeräten und dem Einsatz von KI?

Jedes medizinelektronische Gerät arbeitet mit Software und ist per Definition digital. Der springende Punkt ist allerdings die Vernetzung – und in großen Teilbereichen wie den bildgebenden Systemen sind wir da schon sehr gut. Abgesehen von einigen wenigen Fällen wird praktisch kein Röntgenfilm mehr verwendet, die gesamte Radiologie kommt bereits ohne Papier aus und überträgt Bilder und Befunde digital. In anderen Bereichen ist die digitale Vernetzung noch nicht komplett umgesetzt, aber es ist technisch möglich und die Produkte dazu sind verfügbar.

Auch im Bereich der Künstlichen Intelligenz gibt es bereits viele sehr gute Produkte. Um beim Beispiel Radiologie zu bleiben, sogar schon mit CE-Kennzeichen und im klinischen Einsatz. Das Wichtigste für den KI-Einsatz in Medizingeräten ist allerdings die Datennutzung für die Entwicklung der Produkte. Der Algorithmus muss trainiert werden – erst dann können bestimmte klinische Abläufe automatisiert werden. Und dazu brauchen die Firmen anonymisierte Gesundheitsdaten.

Gerade für seltene Indikationen oder für Spezialfälle wie die KI-unterstützte Überwachung von Intensivbetten reichen die sogenannten »Routinedaten« der gesetzlichen Krankenversicherung nicht aus. Für das KI-Training werden komplette Krankengeschichten gebraucht, inklusive Daten vom Krankenhaus, in welcher Minute welcher Monitor welches Signal ausgegeben hat. Nur so kann eine KI replizieren, was eine Pflegekraft mit 10 Jahren Berufspraxis weiß. In Deutschland sind diese Daten nur mit sehr viel Aufwand zu bekommen. In anderen Ländern ist das deutlich einfacher. Wenn wir KI in Deutschland und auf Basis deutscher Patientendaten entwickeln wollen, brauchen wir den Zugang zu genau diesen Daten.

Genau das ist doch die Intention der Digitalgesetze von Karl Lauterbach?

Mit den beiden Digitalgesetzen ist jetzt tatsächlich die Grundlage dafür gelegt, dass es Gesundheitsdaten umfassend, in einer bestimmten Struktur, mit bestimmten Inhalten gibt – und die Industrie damit auch forschen darf. Das ist neu in Deutschland, genau das brauchen wir. Daran haben wir als ZVEI auch mitgewirkt.

Gerade wurde der AI Act verabschiedet. Was bedeutet das neue EU-Gesetz für Medizingeräte-Hersteller?

Nun, das wissen wir noch nicht ganz genau - momentan haben wir erstmal einen endgültigen Text. Und der ist nicht gerade einfach zu lesen. Die Klärung dazu, was der AI Act wirklich bedeutet, steht noch aus. Wir lesen gerade die konsolidierte Fassung und überprüfen, wie unsere vorherigen Anmerkungen und Kommentare in Kompromisse umgesetzt worden. Und was diese Kompromisse für Hersteller bedeuten oder bedeuten könnten. Denn viele Punkte sind bisher noch uneindeutig.

Was ist ihrer Meinung nach das Grundproblem des AI Acts?

Der AI Act hat den Anspruch jede Form von künstlicher Intelligenz zu regeln. Allein die Definition, was KI überhaupt ist, ist sehr breit. Wie soll ein Gesetz all diese Facetten regeln? Das ist sehr komplex. Die ursprüngliche Intention waren sicherheits- und gesellschaftsrelevante Auswirkungen von KI – so ist die Überwachung per Gesichtserkennungssoftware jetzt kraft Gesetzes ausgeschlossen.

Gemeinerweise hängt mit dieser – per se positiven – Intention jetzt der gesamte Gesundheitsbereich in der Regulierungsfalle. Denn jedes Medizingerät und jede medizinische Software unterliegen bereits der MDR. Dort ist geregelt, wie sicher und verlässlich Software sein muss, wie geprüft wird etc. – diese Regeln schließen auch KI-Elemente ein. Bereits jetzt wird also geregelt und überprüft, was maschinelles Lernen oder ein Algorithmus tut, um Risiken für Patienten und Mediziner soweit wie möglich auszuschließen.

Der AI Act kommt auf dieses Regelwerk obendrauf – und leider unterscheiden sich einige Definitionen des neuen Gesetzes von der MDR. Die Medizintechnik-Hersteller müssen also neben die bisherige Risikoprüfung und Dokumentation nach MDR jetzt noch den AI Act legen und prüfen, ob ihre Produkte unter die dortige KI-Definition fallen; und wenn ja, in welche Risikoklasse. Sie müssen bisher unbekannte Risiken überprüfen und wieder dokumentieren, wie sie sicherstellen, dass nichts passiert. Aus ZVEI-Sicht halte ich dieses doppelte Bearbeiten für unnötig, denn unsere Mitglieder bringen weit überwiegend Produkte der MDR-Klasse IIa und höher in Verkehr. Da ist immer automatisch eine Benannte Stelle als externer Prüfer beteiligt – da wird bereits sehr genau hingeschaut.

Zur Neuzertifizierung nach MDR kommt also schlimmstenfalls noch der AI Act?

Genau. Prinzipiell soll die Zertifizierung nach AI Act wieder über die Benannten Stellen laufen. Diese müssen sich zunächst dafür notifizieren. Was es dazu braucht und wie lange dies dauert, sind nur zwei von vielen Fragezeichen. Zukünftig wird die Prüfung nach AI Act wohl eine weitere Dienstleistung der Benannten Stellen sein, ein weiterer Test, den ein Hersteller mitbeauftragt, wenn er sein Medizinprodukt zertifizieren lässt. Aktuell gibt es jedoch noch sehr viele Unklarheiten.

Es wird zeitnah eine Arbeitsgruppe der EU-Kommission zum AI Act geben. Diese Gruppe wird offene Punkte im Gesetzestext klären, im Sinne von »Das steht da, so ist es gemeint«. Die EU weiß, dass in vielen Branchen Unsicherheiten bestehen. Zur Spezifizierung dieser Unklarheiten wird das BMWK einen Stakeholder-Prozess mit der deutschen Industrie aufsetzen. Daran sind wir als ZVEI beteiligt. Das heißt, wir gehen jetzt an die Interpretation und die Auslegung des AI Act – wir müssen Formulierungen und Erläuterungen finden, die für Medizinelektronik-Unternehmen eindeutig klären, was wie gemeint ist.

Heißt das, MedTech-Hersteller können bezüglich des AI Acts erstmal nichts tun?

Auf keinen Fall, jetzt bloß nicht die Augen zu machen und abwarten. Wir brauchen für die Klärung und Interpretation des AI Acts die Rückmeldung, die offenen Fragen der Hersteller. Auch wenn mit der MDR bereits genug zu tun ist, die Firmen müssen den AI Act jetzt sorgfältig lesen und für sich einordnen. Welches ihrer Produkte würde z.B. in die »High Risk«-Kategorie des AI Act fallen? Das muss nicht gleich eine ganze Prozessbeschreibung sein, da reicht zunächst eine grobe Orientierung: Bin ich als Unternehmen vom AI Act betroffen? Wenn ja, wo und welche Fragen habe ich dazu?
Diese Fragen können die Hersteller gesammelt an uns oder andere Verbände weiterreichen. Das ist unser Job, wir ordnen und bündeln die offenen Punkte übergreifend und bringen das in den Interpretationsprozess ein bzw. können bereits einen Vorschlag zur Klärung machen.

Wie benötigen Fälle aus der Praxis. ‚Wenn Produkt X entwickelt werden soll, kann ich aus dem AI Act an Stelle Y nicht herauslesen, ob Entscheidung A oder B regelkonform ist. Ohne die Beantwortung dieser Frage steht die Entwicklung.‘ Diese Art Beispiel brauchen wir, um in die Diskussion zu gehen und zu klären, was funktioniert. Das ist jetzt kein Versprechen, dass wir alles 100 Prozent durchdeklinieren können – aber jetzt ist der Zeitpunkt, zu benennen, wo es knirscht.

Einerseits starre, festgeschriebene Regularien; andererseits eine sehr agile, iterative, sich selbst erneuernde KI-Software. Viele Firmen bemängeln die komplizierten Regelungen.

KI ist kompliziert, es geht meines Erachtens nicht anders. Das ist auch eine Frage des verantwortungsvollen Umgangs mit KI und deren Einbindung in den Zertifizierungsprozess. Wenn heute ein neues Medizinsoftware-Release mit wesentlichen neuen Funktionen rauskommt, stellt niemand eine Neubewertung in Frage. Wo ist also der Unterschied zu einer KI, die mit Daten aus ihrer täglichen Arbeit lernt und nach einem bestimmten Zeitraum ein neues Vorgehen vorschlägt? Der Hersteller muss das Ende des Lernprozesses definieren und entscheiden, ob das neu-errechnete Vorgehen übernommen werden soll. Handelt es sich dabei um eine minimale Verbesserung oder um eine wesentliche Änderung? Wenn die KI gegenüber der ursprünglichen Programmierung neue Funktionalität entwirft, muss die Konformität auf jeden Fall neu bewertet werden – das ist von der Struktur her nicht anders als heute.

Die Schwierigkeit ist, die Grenzen zu definieren und als Inverkehrbringer zu entscheiden, wann ein Lernzyklus abgeschlossen ist und die Diagnose sich verändert. Das aber ist wiederum Teil der Risikoanalyse und der Prozessbeschreibung vorher. Ich sollte keine KI auf Patienten loslassen, die beim Inverkehrbringen eine CE-Kennzeichnung trägt, sich dann aber unkontrolliert verändert. Die MDR beschreibt den Softwareentwicklungsprozess bereits sehr genau, die Hersteller müssen ihn jetzt nur auf Künstliche Intelligenzen anwenden.

Wie kann diese Umsetzung in der Praxis aussehen?

Bei unseren Mitgliedunternehmen läuft es meist nach einem ähnlichen Schema: Nehmen wir eine Software mit einem intelligenten Algorithmus, der anhand von 300.000 Datensätzen trainiert wurde. Die Software automatisiert bestimmte klinische Aufgaben und sammelt dabei weitere Daten. Sobald 300.000 neue Datensätze existieren, holen sich die Entwickler die Software erneut ins Labor. Dann wird geschaut, wie sich die Funktionalität des Algorithmus mit den nun 600.000 Daten verändert. Die bedeutendste Frage ist immer: Ist die Veränderung essenziell? Wenn ja, wird neu zertifiziert. Dieses Vorgehen können Firmen für KI genauso einsetzen wie für normale Softwareentwicklung. Es geht immer darum, erklären zu können, was das Medizingerät auf welcher Datenbasis gemacht hat. Die Nachvollziehbarkeit ist eine der größten Herausforderungen von KI in der Medizintechnik. Dass KI, die kontinuierlich lernt, wie viele Menschen befürchten, nie mehr überprüft wird, stimmt so nicht. Das ist bereits in der MDR festgeschrieben.

Wie schätzen Sie den AI Act, auch in Kombination mit der MDR, als Standortfaktor für Deutschland ein?

Wenn wir innerhalb der Arbeitsgruppe der Europäischen Kommission die Abgrenzung zwischen beiden Verordnungen nicht verlässlich klären können, schlecht. Solange in der Zulassung noch so viele Fragen offen sind, wird nur der risikofreudigste Unternehmer in Deutschland KI-Anwendungen entwickeln. Das heißt nicht, dass keine KI-Applikationen mehr entwickelt werden – eben nur nicht in Deutschland oder Europa. Selbst deutsche MedTech-Firmen entwickeln derzeit schon an Standorten im Ausland, wo die Zulassungshürden weniger komplex und Patientendaten einfacher zu bekommen sind – ergo: wo für Unternehmen einfacher nachvollziehbar ist, ob ein medizinisches KI-Produkt erfolgreich sein kann. Diese Produkte kommen schlussendlich mit entsprechender CE-Kennzeichnung auch auf den heimischen Markt, aber für den Forschungs- und Entwicklungsstandort Deutschland bedeuten die regulatorischen Hürden und rigiden Datennutzungsgesetze zumindest eine Verzögerung – wenn nicht das komplette Ende von hiesiger KI-Entwicklung überhaupt.

Jetzt hängt es an der Interpretation des AI Act durch die angesprochene Arbeitsgruppe. Selbst wenn alles sehr schnell geht, Firmen sollten noch mindestens mit einer Übergangsfrist von zwei bis drei Jahren inklusive der bestehenden Unsicherheiten kalkulieren. In dieser Zeit wird sich die Welt der Künstliche Intelligenz bereits um ein Vielfaches weitergedreht haben.

Wie sollten Firmen hierzulande bezüglich der KI-Entwicklung vorgehen?

Jeder Medizintechnik-Entwickler weiß, dass er an einem zulassungsbedürftigen Produkt arbeitet. Er muss also in jedem Fall gut dokumentieren und sich an alle bekannten Normen und Regularien halten. Natürlich gibt es bezüglich des AI Act noch nicht genau geklärte Punkte, aber die MDR auf der anderen Seite ist bekannt und regelt sehr genau. Entwickler können den AI Act jetzt lesen und schauen, welche Anforderungen auf sie zukommen könnten und wie auf diese Anforderungen reagiert werden kann.

Auch wenn noch nicht ganz klar ist, was der AI Act in zwei bis drei Jahren für ein spezifisches KI-Entwicklungsprojekt bedeutet, kann sich ein Unternehmen durchaus nach bestem Wissen und Gewissen an die Entwicklung eines KI-basierten Medizinproduktes setzen – und sich dabei an alle jetzt bekannten Vorschriften halten. In zwei Jahren muss es dann sehen, ob alles so passt oder ob kleine Modifikationen auf Basis der Dokumentation anstehen. Eine saubere und sorgfältige Dokumentation ist für jede Konformitätsbewertung essenziell, nicht nur für den AI Act.

Für den Einsatz als Medizinprodukt wird immer wichtig sein, das entwicklungstechnische Vorgehen für die Risikobewertung zu erklären. Selbst wenn der AI Act und die MDR in Punkten widersprüchlich sein sollten, muss nachvollziehbar sein, warum für ein KI-basiertes Medizinprodukt aus medizinischen und sicherheitsrelevanten Gründen ein bestimmtes Vorgehen gewählt wurde. Damit kann sowohl ein Hersteller wie auch eine Benannte Stelle umgehen. Aus meiner Sicht, wenn es um Medizin und Sicherheit bei Medizinprodukten geht, hat die MDR Vorrang – dafür werden wir uns als ZVEI im Klärungsprozess einsetzen.

Vielen Dank für das Gespräch!

Hans-Peter Bursig ist Geschäftsführer des Fachverbandes Elektromedizinische Technik im ZVEI und leitet den Bereich Gesundheit des Verbands der Elektro- und Digitalindustrie.