Startseite > Halbleiter > EU-Kommission legt Rechtsrahmen vor und erntet erste Kritik

Vertrauenswürdige KI

EU-Kommission legt Rechtsrahmen vor und erntet erste Kritik

22. April 2021, 13:49 Uhr | Iris Stroh

Die Europäische Kommission hat gestern einen Rechtsrahmen für KI vorgelegt, der eine Klassifizierung nach den damit verbundenen Risiken vorsieht und damit manche Anwendungen schlichtweg verbietet oder strengen Auflagen vorsieht. Dem VdTÜV reichen die Vorschläge nicht aus.

▶ Diesen Artikel anhören

»Bei künstlicher Intelligenz ist Vertrauen ein Muss und kein Beiwerk. Mit diesen wegweisenden Vorschriften steht die EU an vorderster Front bei der Entwicklung neuer weltweiter Normen, die sicherstellen sollen, dass KI vertrauenswürdig ist«, sagte Exekutiv-Vizepräsidentin Margrethe Vestager. KI-Systeme, die die Sicherheit, die Lebensgrundlagen und die Rechte der Menschen bedrohen, werden verboten. Für KI-Systeme mit hohem Risiko sollen strenge Vorgaben gelten, die erfüllt sein müssen, bevor sie auf den Markt gebracht werden. Und weiter: »Mit der Schaffung der Standards können wir weltweit den Weg für ethische Technik ebnen und dafür sorgen, dass die EU hierbei wettbewerbsfähig bleibt. Unsere Vorschriften werden zukunftssicher und innovationsfreundlich sein und nur dort eingreifen, wo dies unbedingt notwendig ist, nämlich wenn die Sicherheit und die Grundrechte der EU-Bürger auf dem Spiel stehen.«

Der für den Binnenmarkt zuständige EU-Kommissar Thierry Breton ergänzte: »KI ist kein Ziel für sich, sondern ein Mittel, das schon seit Jahrzehnten eingesetzt wird. Aber mit der heutigen Rechenleistung hat sie nun ganz neue Fähigkeiten. Dies bietet ein riesiges Potenzial in so verschiedenen Bereichen wie Gesundheit, Verkehr, Energie, Landwirtschaft, Tourismus oder Cybersicherheit. KI birgt aber auch eine Reihe von Risiken. Die Vorschläge sollen die Position Europas als globales Zentrum für Exzellenz in der KI vom Labor bis zum Markt stärken. Außerdem sollen sie dafür sorgen, dass die KI in Europa unsere Werte und Regeln wahrt, und das Potenzial der KI für eine industrielle Nutzung erschließen helfen.«

Das europäische Konzept für vertrauenswürdige KI

Die neuen Vorschriften werden auf einer zukunftssicheren Definition der KI beruhen und in allen Mitgliedstaaten direkt und in gleicher Weise Anwendung finden. Sie folgen einem risikobasierten Ansatz, bei dem je nach Klassifizierung vorgegangen werden muss:

Unannehmbares Risiko: KI-Systeme, die als klare Bedrohung für die Sicherheit, die Lebensgrundlagen und die Rechte der Menschen gelten, werden verboten. Dazu gehören KI-Systeme oder -Anwendungen, die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen (z. B. Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert), sowie Systeme, die den Behörden eine Bewertung des sozialen Verhaltens (Social Scoring) ermöglichen.

Hohes Risiko: KI-Systeme, bei denen ein hohes Risiko besteht, wenn KI-Technik in folgenden Bereichen eingesetzt wird:

kritische Infrastrukturen (z. B. im Verkehr), in denen das Leben und die Gesundheit der Bürger gefährdet werden könnten;
Schul- oder Berufsausbildung , wenn der Zugang einer Person zur Bildung und zum Berufsleben beeinträchtigt werden könnte (z. B. Bewertung von Prüfungen);
Sicherheitskomponenten von Produkten (z. B. eine KI-Anwendung für die roboterassistierte Chirurgie);
Beschäftigung, Personalmanagement und Zugang zu selbstständiger Tätigkeit (z. B. Software zur Auswertung von Lebensläufen für Einstellungsverfahren);
wichtige private und öffentliche Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, wodurch Bürgern die Möglichkeit verwehrt wird, ein Darlehen zu erhalten);
Strafverfolgung , die in die Grundrechte der Menschen eingreifen könnte (z. B. Bewertung der Verlässlichkeit von Beweismitteln);
Migration, Asyl und Grenzkontrolle (z. B. Überprüfung der Echtheit von Reisedokumenten);
Rechtspflege und demokratische Prozesse (z. B. Anwendung der Rechtsvorschriften auf konkrete Sachverhalte).

Für KI-Systeme mit hohem Risiko werden strenge Vorgaben gelten, die erfüllt sein müssen, bevor sie auf den Markt gebracht werden dürfen. Dazu gehören:

Angemessene Risikobewertungs- und Risikominderungssysteme;
hohe Qualität der Datensätze, die in das System eingespeist werden, um Risiken und diskriminierende Ergebnisse so gering wie möglich zu halten;
Protokollierung der Vorgänge, um die Rückverfolgbarkeit von Ergebnissen zu ermöglichen;
ausführliche Dokumentation mit allen erforderlichen Informationen über das System und seinen Zweck, damit die Behörden seine Konformität beurteilen können;
klare und angemessene Informationen für die Nutzer;
angemessene menschliche Aufsicht zur Minimierung der Risiken;
hohes Maß an Robustheit, Sicherheit und Genauigkeit.

Insbesondere alle Arten biometrischer Fernidentifizierungssysteme bergen ein hohes Risiko und unterliegen strengen Anforderungen. Ihre Echtzeit-Nutzung im öffentlichen Raum zu Strafverfolgungszwecken wird grundsätzlich verboten. Eng abgesteckte Ausnahmen werden strikt definiert und geregelt (z. B. wenn sie unbedingt erforderlich sind, um ein vermisstes Kind zu suchen, um eine konkrete und unmittelbare terroristische Bedrohung abzuwenden oder um Täter bzw. Verdächtige schwerer Straftaten zu erkennen, aufzuspüren, zu identifizieren oder zu verfolgen). Eine solche Nutzung bedarf der Genehmigung einer Justizbehörde oder einer anderen unabhängigen Stelle und unterliegt angemessenen Beschränkungen in Bezug auf die zeitliche und geografische Geltung und die abgefragten Datenbanken.

Geringes Risiko, d. h. KI-Systeme, für die besondere Transparenzverpflichtungen gelten: Beim Umgang mit KI-Systemen wie Chatbots sollte den Nutzern bewusst sein, dass sie es mit einer Maschine zu tun haben, damit sie in voller Kenntnis der Sachlage entscheiden können, ob sie die Anwendung weiter nutzen wollen oder nicht.

Minimales Risiko: Der Legislativvorschlag soll die freie Nutzung von Anwendungen wie KI-gestützten Videospielen oder Spamfiltern ermöglichen. Die große Mehrheit der KI-Systeme fällt in diese Kategorie. Der Verordnungsentwurf soll hier nicht eingreifen, denn diese KI-Systeme stellen nur ein minimales oder kein Risiko für die Bürgerrechte oder die Sicherheit dar.

Kontrolle sollen die Nationen selbst übernehmen

Bezüglich der KI-Governance schlägt die Kommission vor, dass die Anwendung der neuen Vorschriften von den zuständigen nationalen Marktüberwachungsbehörden beaufsichtigt werden soll. Ferner wird ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden, der die Umsetzung begleiten und die Ausarbeitung von Normen auf dem Gebiet der KI vorantreiben soll. Darüber hinaus werden freiwillige Verhaltenskodizes für KI-Anwendungen, die kein hohes Risiko darstellen, und regulatorische »Sandkästen« vorgeschlagen, um verantwortungsvolle Innovationen zu erleichtern.

Nächste Schritte

Nun müssen die Vorschläge der Kommission für ein europäisches Konzept für künstliche Intelligenz und für eine Maschinenverordnung vom Europäischen Parlament und von den Mitgliedstaaten im ordentlichen Gesetzgebungsverfahren angenommen werden. Sobald die Verordnungen verabschiedet sind, werden sie unmittelbar in der gesamten EU gelten. Parallel dazu wird die Kommission weiter mit den Mitgliedstaaten zusammenarbeiten, um die im koordinierten Plan angekündigten Maßnahmen umzusetzen.

Der Verband der TÜV e.V. (VdTÜV) sagt ja, aber

Grundsätzlich begrüßt der TÜV-Verband die EU-Initiative. Dr. Joachim Bühler, Geschäftsführer des TÜV-Verbands, erklärt: »Der Legislativvorschlag der EU-Kommission für den Einsatz Künstlicher Intelligenz in Europa ist ein wichtiger Schritt auf dem Weg zur notwendigen Regulierung der Technologie. Viele KI-Systeme zum Beispiel in der Mobilität, in der Medizin, in der Wirtschaft oder in der Justiz bergen Gefahren für die körperliche Unversehrtheit von Menschen oder greifen in ihre elementaren Grundrechte wie Gleichbehandlung oder Privatsphäre ein. Daher ist es richtig, dass KI-Anwendungen entsprechend ihres Gefährdungspotenzials klassifiziert und reguliert werden sollen.« Und jetzt kommt das Aber: »Die von der Kommission vorgeschlagenen Risikoklassen bedürfen aus Sicht des TÜV-Verbands aber noch einer weiteren Überarbeitung. So ist die Zuordnung der KI-Systeme in die jeweiligen Risikoklassen nachzubessern. Der im Legislativvorschlag vorgesehene primäre Fokus auf KI-Anwendungen mit hohem Risiko greift dabei zu kurz. Verpflichtende Mindestanforderungen sollten für alle KI-Anwendungen gelten. Dies gilt insbesondere im Hinblick auf wichtige Schutzziele wie Sicherheit, Zuverlässigkeit und Transparenz. Der TÜV-Verband begrüßt die Einbindung unabhängiger Prüforganisationen bei bestimmten KI-Systemen mit hohen Risiken. Allerdings sollte der Kommissionsvorschlag dahingehend ergänzt werden, dass eine unabhängige Prüfung für alle Hochrisikoanwendungen verpflichtend vorgesehen wird, zum Beispiel bei KI-Systemen zur Personalgewinnung oder bei der Bewertung der Kreditwürdigkeit. Bisher sieht der Kommissionsvorschlag hier nur eine Selbsterklärung des Herstellers vor.«