Startseite > Automation > Industrie 4.0 & IoT > KI braucht Kontrolle!

Transparenz und Überwachungsmechanismen

KI braucht Kontrolle!

12. Oktober 2018, 9:08 Uhr | Karin Zühlke

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Zwischen Faszination und Gruseln

Warum KI Kontrolle braucht, lässt sich anschaulich an konkreten Beispielen zeigen. So präsentierte vor einigen Monaten das Massachusetts Institute of Technology (MIT), Boston, die dem Wortlaut nach „weltweit erste psychopathische KI“ namens Norman. Benannt nach der Hauptfigur in Alfred Hitchcocks „Psycho“, stellt Norman eine Fallstudie über die Gefahren der künstlichen Intelligenz dar. Das Experiment veranschaulicht den Einfluss der Trainingsdaten auf ein selbstlernendes System: Fehlerhafte, unvollständige oder auch bewusst falsch ausgewählte Daten führen zu einem entsprechend negativen Systemverhalten, das beispielsweise in den Vorlagen enthaltene Stereotype und Vorurteile übernimmt. »KI ist eben nur so gut ist wie die Daten, aus denen sie lernt«, erklärt ein Sprecher des MIT.

Im Jahr 2016 startete Microsoft Tay, einen Twitter-Chat-Bot. Damals sagte eine Microsoft-Sprecherin, Tay sei ein soziales, kulturelles und technisches Experiment. Aber Twitter-Nutzer provozierten den Bot, rassistische und unangemessene Dinge zu sagen, und es funktionierte. Als die Leute mit Tay chatteten, nahm der Bot die Sprache der Benutzer auf. Microsoft setzte den Bot schließlich offline. Tief in die Verhaltenspsychologie führt indes ein aktuelles Projekt des Forschungszentrums Jülich und der Uni Düsseldorf: Mithilfe von KI konnten die Forscher aus MRT-Bilddaten Informationen über Persönlichkeitsmerkmale eines Menschen gewinnen. In ihrer Studie identifizierten die Wissenschaftler Netzwerke im menschlichen Gehirn, die bei verschiedenen Aufgaben besonders aktiv waren. Sie trainierten dann eine Software darauf, diese Aktivität spezifischen Persönlichkeitsmerkmalen zuzuordnen. Wie die Forscher in einer weiteren Studie nachgewiesen haben, kann auf diese Weise aus MRT-Daten auch gut erkannt werden, ob ein Mensch etwa unter Schizophrenie oder Parkinson leidet.

Aber wie ist sichergestellt, dass die Algorithmen bei ihrer „Diagnose“ keine Fehler machen oder die Erkenntnisse missbraucht werden? »Natürlich gibt es bei dieser Art Forschung immer auch Bedenken – von der Gefahr des ‚gläsernen Menschen‘ bis hin zu ökonomischen Folgen oder möglichen Missbrauch von Patientendaten«, weiß Prof. Simon Eickhoff, Leiter des Bereichs „Gehirn und Verhalten“ des Jülicher Instituts für Neurowissenschaften und Medizin. »Gerade deshalb ist es wichtig, die Möglichkeiten und Grenzen von solchen Technologien transparent zu diskutieren.«

IBM öffnet die Black Box

IBM wiederum ist mit seinem Watson-System einer der Pioniere der künstlichen Intelligenz und hat auf die immer lauter werdenden Forderungen nach Transparenz und Kontrolle in der KI reagiert: Mit einer neuen Software und der Open-Source-Community will der Konzern Vorbehalte gegen die Technologie aus dem Weg räumen. Die Software zeigt in Echtzeit, auf welcher Grundlage Entscheidungsvorschläge zustande kommen, und soll automatisch quantitative und qualitative Mängel in Daten und KI-Modellen erkennen, also eine Art „Watchdog“-Funktion ausführen. Sie läuft auf der IBM-Cloud und soll Unternehmen helfen, KI-Systeme für eine große Bandbreite an Branchen und Kunden nutzbar zu machen, indem sie Vertrauen in die Qualität der Entscheidungsvorschläge schafft.

Zusätzlich übergibt IBM Research ein KI-Toolkit zur Erkennung von systematischen Fehlern und Anpassung an die Open-Source-Community. Damit soll der weltweite Austausch und die Zusammenarbeit zur Entwicklung von vorurteilsfreien KIs gefördert werden. »Wir geben den Unternehmen, die KI einsetzen und dem potenziellen Risiko durch fehlerhafte Entscheidungen ausgesetzt sind, neue Transparenz und Kontrolle«, so David Kenny, Senior VP of Cognitive Solutions von IBM.

Entscheidungen der künstlichen Intelligenz sichtbar machen

Die neue Software in der IBM-Cloud arbeitet mit Modellen, die sich aus einer Vielfalt von Frameworks für maschinelles Lernen und KI-Umgebungen wie Watson, Tensorflow, SparkML, Amazon SageMaker und AzureML zusammensetzt, also den meistverbreiteten KI-Frameworks. Man kann damit nach Auskunft von IBM aber auch die Entscheidungsgrundlagen von jedem Workflow überwachen. Die Software lässt sich also an die individuellen Bedürfnisse der Unternehmen anpassen. Der vollautomatisierte Software-Service erklärt die Entscheidungsfindung durch KI während der Verarbeitung. So sollen potenzielle Mängel in Quantität oder Qualität der dem System zur Verfügung gestellten Daten oder nicht balancierte Ergebnisse von vornherein vermieden werden. Die Software empfiehlt gegebenenfalls automatisch, dem Modell mehr Daten hinzuzufügen, um Anpassungen vorzunehmen.

Ob diese Maßnahmen zur Kontrolle von KI in jedem Fall ausreichen werden, wird sich erst in der praktischen Umsetzung zeigen. Doch dass ein Unternehmen wie IBM die Notwendigkeit solche Überwachungsmechanismen erkannt hat, ist schon ein wichtiger Schritt.