Vorteile nutzen, Nachteile vermeiden
KI in sicherheitskritischen Embedded-Systemen – ein Leitfaden
Künstliche Intelligenz leistet in sicherheitskritischen Embedded-Systemen gute Dienste, kann aber auch die Sicherheit beeinträchtigen und weitere Probleme verursachen. Wie lässt sich dieses Dilemma auflösen, sprich: ersteres nutzen und letzteres vermeiden? Entsprechende Strategien stehen bereit.
Künstliche Intelligenz (KI) und Machine Learning (ML) verändern sicherheitskritische Embedded-Systeme in Branchen wie der Automobilindustrie, dem Gesundheitswesen und der Verteidigung. Sie sind die Grundlage für innovative Technologien, die einen autonomen und effizienten Betrieb dieser Systeme ermöglichen. Allerdings bringt die Integration von KI und ML in sicherheitskritische Embedded-Systeme besondere Herausforderungen mit sich. Dazu zählen hohe Ausfallrisiken, strenge Konformitätsanforderungen sowie unvorhersehbares Modellverhalten.
Man stelle sich beispielsweise ein autonomes Auto vor, das in Sekundenschnelle Bremsentscheidungen trifft, oder einen Herzschrittmacher, der lebensbedrohliche Herzrhythmusstörungen erkennt. Ausfälle sind bei diesen KI-gestützten Embedded-Systemen nicht akzeptabel.
KI in sicherheitskritischen Systemen – nicht ohne spezielle Tests
Embedded-Systeme müssen mit wenig Rechenleistung, Speicher und Energie auskommen. Oft sind sie außerdem harten Bedingungen wie etwa rauen Umgebungen mit extremen Temperaturen und Vibrationen ausgesetzt.
KI-Modelle, vor allem Deep-Learning-Netzwerke, benötigen viel Rechenleistung, was ihre effiziente Anwendung erschwert. Die größten Herausforderungen für Entwickler sind:
- Ressourcenbeschränkungen: KI-Modelle verbrauchen viel Strom und Speicherplatz, was mit den Einschränkungen bei Embedded-Geräten kollidiert.
- Determinismus: Sicherheitskritische Anwendungen wie autonomes Bremsen erfordern vorhersehbare Reaktionen in Echtzeit. Leider können sich KI-Modelle unvorhersehbar verhalten.
- Zertifizierung und Konformität: Regulatorische Standards wie ISO 26262 und IEC 62304 verlangen Transparenz, doch KI-Modelle funktionieren oft wie Black Boxes.
- Sicherheitsrisiken: Angriffe können KI-Modelle manipulieren und zu gefährlichen Fehlern führen, etwa zu einer falschen Dosierung durch ein medizinisches Gerät.
Um diese Hürden zu überwinden, nutzen Ingenieure Optimierungstechniken, spezielle Hardware und strenge Testmethoden.
Strategien für eine zuverlässige und sichere KI-/ML-Bereitstellung
1. Modelloptimierung - Pruning und Quantisierung: Weil Embedded-Systeme keine riesigen KI-Modelle unterstützen können, komprimieren Ingenieure diese, ohne dabei deren Genauigkeit zu verringern. Pruning entfernt überflüssige neuronale Verbindungen. Die NASA hat beispielsweise 40 Prozent des Geländeklassifizierungs-Modells ihres Mars-Rovers entfernt und so die Verarbeitungszeit um 30 Prozent reduziert, ohne dass die Genauigkeit beeinträchtigt wurde.
Quantisierung verringert die numerische Genauigkeit, um den Speicherverbrauch um 75 Prozent zu senken. Ein Beispiel dafür ist die Umwandlung von 32-Bit-Werten in 8-Bit-Ganzzahlen. Fitbit hat diese Methode genutzt, um die Akkulaufzeit seiner Fitness-Tracker zu verlängern und zugleich die Leistung aufrechtzuerhalten.
2. Determinismus mit eingefrorenen Modellen sicherstellen: Sicherheitskritische Systeme wie Spurhalteassistenten, Insulinpumpen und Flugsteuerungen erfordern ein konsistentes Verhalten. KI-Modelle können bei unterschiedlichen Eingaben jedoch abweichen oder sich unvorhersehbar verhalten.
Die Lösung: Man friert das Modell ein. Das bedeutet, dass die Gewichte nach dem Training gesperrt werden, sodass die KI sich genauso verhält, wie sie getestet wurde. Tesla verwendet beispielsweise eingefrorene neuronale Netze im Autopiloten und aktualisiert sie erst nach einer umfassenden Validierung der nächsten Revision.
3. Explainable AI (XAI) für die Konformität: Regulierungsbehörden fordern transparente KI-Entscheidungen. Tools für XAI wie LIME und SHAP helfen dabei. Sie zeigen, wie Modelle Entscheidungen treffen, und identifizieren Verzerrungen oder Schwachstellen. Zudem lassen sich damit Zertifizierungs-Anforderungen wie ISO 26262 erfüllen.
4. Robustheit und Sicherheit gegenüber Angriffen: KI-Modelle in Embedded-Systemen sind Cyber-Bedrohungen ausgesetzt. Manipulierte Sensordaten beispielsweise können zu Fehlklassifizierungen führen. Zu den Strategien zur Risikominderung gehören:
- Adversarial Training - das Aussetzen von Modellen gegenüber böswilligen Eingaben während der Entwicklung,
- Input-Sanitization - das Herausfiltern verdächtiger Daten sowie
- Redundanz und Laufzeitüberwachung - Gegenprüfung der KI-Ausgaben mit regelbasierten Fallbacks.
Die Rolle spezieller Hardware
Allgemeine CPUs haben Probleme mit KI-Aufgaben, was zu Innovationen wie etwa Neural Processing Unit (NPUs) geführt hat. Diese sind für KI-Aufgaben optimiert. Ein Beispiel sind die Snapdragon-NPUs von Qualcomm, die Echtzeit-KI-Fotografie in Smartphones ermöglichen. Eine weitere Neuentwicklung sind Tensor Processing Units (TPUs), die Deep-Learning-Inferenzen in Embedded-Geräten beschleunigen.
Dank dieser Fortschritte lässt sich KI auch in Umgebungen mit begrenzter Leistung effizient ausführen.
Traditionelle Verifizierung für KI-fähige Systeme
Auch mit KI bleibt die traditionelle Verifizierung von entscheidender Bedeutung:
- Statische Analyse: Überprüft die Struktur des KI-Modells auf Designfehler.
- Unit-Test: Überprüft Nicht-KI-Teile wie Sensor-Schnittstellen, während KI-Modelle mit Daten getestet werden.
- Code Coverage: Sorgt für umfassende Tests wie MC/DC, um die Einhaltung von Vorschriften wie ISO 26262 sicherzustellen.
- Traceability: Ordnet KI-Verhalten den Systemanforderungen zu, was für Audits entscheidend ist.
Für die Zertifizierung sind hybride Ansätze wichtig, die klassische Tests mit KI-spezifischen Methoden kombinieren.
Strategien im Überblick
- Optimierung der KI-Modelle (Pruning, Quantisierung), damit sie den Einschränkungen von Embedded-Systemen entsprechen.
- Einfrieren trainierter Modelle, um deterministisches und zertifizierbares Verhalten sicherzustellen.
- Nutzung von XAI-Tools, um Transparenz zu schaffen und für Konformität zu sorgen.
- Absicherung der Modelle gegen gegnerische Angriffe.
- Einsatz spezieller Hardware (NPUs, TPUs), um KI effizient auszuführen.
- Kombination traditioneller Verifizierungsmethoden (statische Analyse, Unit-Tests) mit KI-fähigen Techniken.
Obwohl KI und ML Embedded-Systeme grundlegend verändern, haben Sicherheit und Konformität weiterhin oberste Priorität. Durch das richtige Gleichgewicht zwischen Innovation und strengen Tests, Modelloptimierung und Einhaltung gesetzlicher Vorschriften können Teams KI-gesteuerte Embedded-Systeme bereitstellen, die sicher und zuverlässig sind. Hierzu gibt es auch das ausführliche White Paper »How to ensure Safety in AI/ML Driven Embedded Systems« zum Download: https://www.parasoft.com/white-paper/ensure-safety-ai-embedded-systems.
Der Autor:
Ricardo Camacho ist Director of Safety & Security Compliance bei Parasoft.
Jobangebote+ passend zum Thema
Lesen Sie mehr zum Thema
