Startseite > Automotive > Software + Tools > Wie prüfen, was man gar nicht kennt?

Funktionale Sicherheit im KI-Zeitalter

Wie prüfen, was man gar nicht kennt?

14. Januar 2026, 8:00 Uhr | Autorin: Jill Britton, Redaktion: Irina Hübner

Um Fahrzeuge so sicher wie möglich zu machen, stellen die Standards für funktionale Sicherheit hohe Anforderungen an deren Software. Ein Ansatz, den der zunehmende Einsatz von künstlicher Intelligenz an seine Grenzen bringt, denn im Gegensatz zu klassischer Software ist KI nicht-deterministisch.

▶ Diesen Artikel anhören

Ein KI-Algorithmus lernt kontinuierlich dazu und verändert sich. Doch ein System, dessen Verhalten sich nicht voraussagen lässt, kann nicht auf belastbare Weise auf funktionale Sicherheit hin zertifiziert werden. Was die Branche im KI-Zeitalter braucht, sind neue Standards – und eine Renaissance des Risikomanagements.

Von autonomen Fahrzeugen über Assistenzsysteme im Flugverkehr bis hin zu medizintechnischen Geräten: Unaufhaltsam hält künstliche Intelligenz Einzug in Software und den Lebenszyklus ihrer Entwicklung. Zu groß ist schlicht das Potenzial der intelligenten Technologie: Sie vereinfacht Routineaufgaben, trifft kritische Entscheidungen in Echtzeit und verspricht eine massive Entlastung von Entwicklerteams und Mitarbeitern.

leichzeitig steigen jedoch die Risiken, sowohl durch den Einsatz von Machine-Learning-Komponenten innerhalb des Produktivsystems als auch durch die Nutzung von KI zur Unterstützung der Softwareentwicklung oder gar Code-Erstellung mittels natürlicher Sprache (sogenanntes Vibe Coding). Compliance wird damit wieder zu einer echten Herausforderung.

Der Siegeszug der KI ist nicht zu stoppen

In einer GitHub-Umfrage gaben bereits 97 Prozent der Befragten an, KI-basierte Coding-Tools im beruflichen Kontext zu nutzen. Die Gründe dafür liegen auf der Hand: KI-Tools automatisieren repetitive oder häufig fehlerbehaftete Aufgaben, verbessern die Codequalität oder dienen als Ideengeber für die Entwicklung neuer Features. Sie erstellen Code basierend auf Instruktionen in natürlicher Sprache, überarbeiten bestehenden Code für mehr Effizienz oder verbesserte Wartbarkeit, prüfen diesen auf Sicherheitsaspekte und die Einhaltung von Compliance-Richtlinien oder generieren Dokumentationen.

Aufgrund der hohen Innovationsgeschwindigkeit, mit der sich die KI-Entwicklung vollzieht, werden Entwicklerteams schon bald in der Lage sein, komplexe Code-Features zu schreiben und umfassende Anforderungen mit minimalem Input zu erfüllen. Entsprechend wird sich die Produktivität deutlich erhöhen, während gleichzeitig die Belastung der Teams sinkt, sodass sie sich auf kreative, wertschöpfende Aufgaben konzentrieren können.

Ein Traum für Entwickler, ein Alptraum für die Sicherheit?

Der Nicht-Determinismus von KI macht es jedoch notwendig, auf den verschiedenen Stufen des Lebenszyklus der Softwareentwicklung sorgfältig abzuwägen, ob künstliche Intelligenz zum Einsatz kommen soll. Dies gilt insbesondere für sicherheitskritische Anwendungen. Da KI auf dieselbe Frage nicht zwingend dieselbe Antwort gibt, genügt es zur Erfüllung der Standards für funktionale Sicherheit nicht länger, lediglich den Code zu untersuchen. Es gilt ebenso zu prüfen, ob die eingesetzte künstliche Intelligenz den Anforderungen der Standards überhaupt gerecht werden kann. Anstelle der konkreten Implementierung rückt die Funktionalität des Systems in den Fokus. Besteht ein Risiko für ein unerwartetes Verhalten, lässt sich ein System schlicht nicht als funktional sicher ausweisen.

Entscheidend ist daher zunächst die Frage, an welchem Punkt KI aus dem Entwicklungsprozess entfernt wird. Wird KI als Komponente innerhalb der Entwicklertools genutzt, ergibt sich am Ende wieder ein klassischer Softwarecode, den Entwickler testen und debuggen sowie dessen Verhalten sie gegen die spezifizierten Anforderungen der Standards prüfen können. Konkret bedeutet das: Kommt KI etwa im Rahmen eines Testing-Tools zum Einsatz, bleibt das System selbst deterministisch. Entwickler können sogar den gesamten Code von einer KI schreiben lassen und mit diesem dann die Testphase durchlaufen. Auch hier wird das Ergebnis deterministisch.

Erst wenn das System die Möglichkeit erhält, sich durch die eingesetzte KI weiterzuentwickeln, stoßen die derzeitigen Standards für funktionale Sicherheit an ihre Grenzen. Das Hauptrisiko ergibt sich dabei selbstredend, wenn nicht-deterministische KI Eingang findet in Komponenten sicherheitskritischer Systeme. Ein Sprachassistent im Fahrzeug, der auf Basis natürlicher Sprache Auskünfte geben oder kleinere Einstellungen, etwa an der Innenraumtemperatur, vornehmen kann, bringt kein nennenswertes Risiko mit sich, solange er nicht in der Lage ist, sicherheitskritische Vorgänge wie Beschleunigung, Lenkung oder Bremsung zu kontrollieren. Demgegenüber stehen beispielsweise Systeme zur autonomen Fahrzeugkontrolle, in denen sich die Software auf Basis neu gesammelter Daten weiterentwickeln könnte – ein Alptraum für die funktionale Sicherheit.

Fehlerfrei und doch nicht zwingend sicher

Branchenstandards für funktionale Sicherheit sind entscheidend für Systeme, bei denen ein unerwartetes Verhalten zu Sach- oder Personenschäden führen kann. Neben dem generellen Elektronikstandard IEC 61508 sowie dem zentralen Automotive-Standard ISO 26262 regeln verschiedenste spezifische Standards die Sicherheit in Bereichen wie Flugverkehr, Schienenverkehr, Medizingeräten, Industriemaschinen oder gar Nuklearanlagen.

Ihre Gemeinsamkeit: Sie zielen darauf ab, Probleme zu verhindern, die sich aus Fehlfunktionen oder Systemabstürzen ergeben könnten, wodurch etwa Lenkung oder Steuerung unmöglich werden. Mit nicht-deterministischer KI können Gefahren auch ohne einen Systemabsturz real werden, etwa wenn ein autonomes Fahrzeug in eine Baustelle einfährt, die dessen Software nicht erwartet hat.

Neue Standards für die KI-Welt

Um Risiken durch KI anzugehen, haben erste Branchen mit der Entwicklung von Standards für den Einsatz nicht-deterministischer KI begonnen. Für die Automotive-Branche ist dies konkret der Standard Safety Of The Intended Functionality (SOTIF). Er ergänzt ISO 26262 mit Richtlinien zu Funktionen, in denen »ein angemessenes Verständnis der Situation essenziell für die Sicherheit ist und sich dieses Verständnis der Situation aus komplexen Sensoren und datenverarbeitenden Algorithmen ergibt«.

Damit verlagert der Standard den Fokus von den formalen Kriterien der eigentlichen Software hin zu dem Verhalten, das diese in unterschiedlichsten Situationen an den Tag legt.

»ISO/DPAS 8800, Road vehicles — Safety and artificial intelligence« erweitert die in SOTIF skizzierten Konzepte und liefert so einen Leitfaden für die Integration von sicherheitsrelevanten Systemen, die KI nutzen, in Fahrzeuge. Eine wichtige Rolle spielen hierbei Aspekte wie Datenqualität und Integrität sowie Interaktionen mit KI-Komponenten außerhalb des Fahrzeugs, die einen Einfluss auf die Sicherheit haben können.

Abgedeckt werden alle Phasen der Softwareentwicklung. Ein Beispiel, das ISO/DPAS 8800 abdeckt, sind etwa unvollständige Trainingsdaten, etwa für ein Erkennungssystem, in dem eine Fahrzeugart fehlt. Das System könnte dadurch bestimmte Fahrzeuge auf der Straße überhaupt nicht als solche wahrnehmen und das Unfallrisiko erhöhen. Ein derartiger Befund könnte wiederum darauf hindeuten, dass die angelegten Anforderungen oder die Testprozesse zur Validierung unvollständig waren.

Best Practices für sicherheitskritische Projekte

Wie müssen Entwicklerteams ihre Prozesse nun anpassen, um den neuen Standards für funktionale Sicherheit gerecht zu werden? So trivial es klingt, doch zunächst müssen sie die bisherigen Standards umfassend erfüllen. Ist die entwickelte Software bereits ohne KI-Komponenten fehler- bzw. risikobehaftet, sorgt auch die Einhaltung der KI-spezifischen Vorgaben nicht für eine Verbesserung der Sicherheit in der Praxis.

Erst wenn das richtige Fundament gelegt ist, sollten Unternehmen damit beginnen, ihre Prozesse und Tools an die neuen KI-bezogenen Standards anzupassen. Da diese alle Aspekte des Lebenszyklus der Softwareentwicklung betreffen, müssen sie jede Phase auf die neuen Anforderungen hin überprüfen und bei Bedarf entsprechend modifizieren.

Der konkrete Anpassungsbedarf kann dabei für jeden Prozess und jedes Tool völlig unterschiedlich ausfallen: Ein Altsystem zum Requirements Management bedarf gegebenenfalls keiner Anpassung, wenn es weiterhin unabhängig von KI-Komponenten arbeitet. Fügt ein Upgrade jedoch KI-Komponenten hinzu, müssen dessen Auswirkungen auf die funktionale Sicherheit evaluiert werden. Bei der konkreten Einhaltung der neuen Anforderungen kann statische Analyse unterstützen, solange das entsprechende Tool auf die neuen Standards ausgelegt ist.

Auf das Risikomanagement kommt es an

Die Ausbreitung von KI-gestützten Tools und Komponenten im Kontext von Automotive-Software ist nicht aufzuhalten. Da klassische Prüfmechanismen für deterministischen Softwarecode angesichts der Lernfähigkeit und damit kontinuierlichen Weiterentwicklung von KI-Algorithmen an ihre Grenzen stoßen, gewinnt ein effektives Risikomanagement an Bedeutung. Die entscheidende Frage dabei lautet: Sollte die »Black Box KI« das Verhalten eines Systems verändern, wäre das System dann immer noch in der Lage, seiner intendierten Funktion nachzukommen?

Neue Standards für funktionale Sicherheit wie ISO 8800 liefern zentrale Richtlinien, die dabei unterstützen können, Risiken durch den KI-Einsatz einzuschätzen und zu minimieren. Allerdings steht ebenso wie die KI-Nutzung im Kontext von Automotive-Software auch die Entwicklung entsprechender Standards noch an ihrem Anfang. Mit zunehmendem Verständnis von KI, ihres Verhaltens und ihrer Auswirkungen werden sich auch die relevanten Standards weiterentwickeln. Es gilt daher, Prozesse und Tools immer wieder neu zu evaluieren. Nur so können Unternehmen bestmöglich dafür sorgen, dass Fahrzeuge ihre Insassen weiterhin zuverlässig und sicher ans Ziel bringen – auch und gerade im Zeitalter der KI.

Die Autorin

Jill Britton
ist Director of Compliance bei Perforce Software. Sie verfügt über mehr als 30 Jahre Erfahrung im Bereich Embedded-Software für verschiedenste Branchen. Unter anderem arbeitete sie als Software Engineer und Manager im Telekommunikationssektor, der Automotive-Branche und im Bildungsbereich. Jill Britton ist Komitee-Mitglied bei MISRA und verfügt über einen Master-Abschluss in Computerwissenschaften der Brunel University London.