Open Secure AI Alliance
Nvidia schmiedet Allianz für sichere offene KI
Nvidia verdient Milliarden mit KI – entsprechend wichtig ist das Vertrauen in die Technologie. Gemeinsam mit zahlreichen Partnern gründet der Konzern jetzt die Open Secure AI Alliance. Der jüngste Sicherheitsvorfall bei Hugging Face liefert dafür ein anschauliches Beispiel.
Die Gründungsmitglieder wollen offene Tools entwickeln und gemeinsam nutzen, die Software und KI-Agenten besser gegen Cyberangriffe schützen sollen. Nvidia verweist in seinem Blog darauf, dass Open-Source-Software eine entscheidende Säule der Weltwirtschaft bilde und die Grundlage für Cloud-Computing, Finanzdienstleistungen, Fertigung, Telekommunikation, öffentliche Verwaltungen und Internetdienste bilde.
Nach Auffassung der Initiatoren gehört die Cybersicherheit zu den Bereichen, die besonders stark von Open-Source-Software profitieren. Die Allianz will deshalb auf den Vorarbeiten der Linux Foundation und der OpenSSF aufbauen, um Schwachstellen mit offenen Technologien schneller zu erkennen, zu beheben und verantwortungsvoll offenzulegen.
Die Allianz ist überzeugt, dass für Cybersicherheit offene Modelle und offene Frameworks unverzichtbar sind. Sie machen Verteidigungsfähigkeiten einem breiteren Nutzerkreis zugänglich, schaffen mehr Transparenz für Sicherheitsverantwortliche, ermöglichen Cyberabwehr bei gleichzeitigem Schutz sensibler Daten und ergänzen leistungsfähige geschlossene Modelle um anpassbare, lokal kontrollierbare Funktionen. Open Source ermöglicht zudem eine breit verteilte, gemeinschaftlich entwickelte und eigenständig kontrollierte Cyberabwehr – ohne von einem einzelnen Anbieter oder einer zentralen Plattform abhängig zu sein.
Die Initiatoren weisen auch darauf hin, dass offene Modelle missbraucht werden können – unter anderem durch Versuche, Sicherheitsvorkehrungen zu schwächen oder Funktionen für Cyberangriffe umzuwidmen –, doch diese Risiken seien nicht auf offene Systeme beschränkt und müssen überall dort bewältigt werden, wo fortschrittliche KI zum Einsatz kommt. Nach Auffassung der Allianz werden sowohl offene als auch geschlossene KI-Modelle benötigt. Offene Modelle sollen leistungsfähige geschlossene Systeme nicht ersetzen, sondern sie dort ergänzen, wo Transparenz, Anpassbarkeit oder der Betrieb auf eigener Infrastruktur erforderlich sind.
Aus der Sicht von Nvidia macht der jüngste Sicherheitsvorfall bei Hugging Face deutlich, dass Sicherheitsverantwortliche für ihre Arbeit auf offene, leistungsfähige agentenbasierte KI-Systeme angewiesen sind. Nach Angaben von Hugging Face blockierten die Schutzmechanismen kommerzieller KI-Modelle Teile der forensischen Analyse. Folglich setzte Hugging Face das Open-Weight-Modell GLM 5.2 auf der eigenen Infrastruktur ein. Damit analysierte das Unternehmen mehr als 17.000 protokollierte Ereignisse und rekonstruierte den Ablauf des Angriffs. Die gewonnenen Erkenntnisse unterstützten anschließend die Eindämmung des Sicherheitsvorfalls.
Nach Auffassung der Allianz zeigt der Vorfall, dass Sicherheitsteams bei der Analyse von Cyberangriffen KI-Modelle benötigen, die sie selbst betreiben und anpassen können. Andernfalls können die Schutzmechanismen kommerzieller Dienste die Reaktion auf einen Angriff erschweren.
Genau darin sieht die Open Secure AI Alliance ihre Aufgabe: Sie will sicherstellen, dass Sicherheitsverantwortliche weltweit Zugang zu offenen, leistungsfähigen KI-Werkzeugen haben, denen sie vertrauen und die sie selbst kontrollieren können.
Mitglieder aus allen Bereichen
Zu den Gründungspartnern der Open Secure AI Alliance gehören Unternehmen und Organisationen aus den Bereichen Cloud Computing, Cybersicherheit, Unternehmenssoftware, Open Source und KI-Forschung. Dazu zählen unter anderem Nvidia, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, die Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, SK Telecom, ServiceNow, Siemens, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab und TrendAI.
Offene Forschung verbessert Cybersicherheit und KI-Sicherheit
Ein KI-Agent besteht nicht nur aus einem Sprachmodell. Er ist ein komplexes System, das sich aus Modellen, Agenten-Frameworks und Schutzmechanismen zusammensetzt.
Die Sicherheit von KI-Systemen hängt vom gesamten Agenten-Stack ab – von Identitäten, Zugriffsrechten, Agenten-Frameworks, Schutzmechanismen, Protokollierung und Evaluierung –, nicht allein davon, ob die Modellgewichte offen oder geschlossen sind. Offene Agenten-Frameworks und Werkzeuge erleichtern es Sicherheitsteams, diese Schutzmechanismen zu untersuchen, zu testen und weiterzuentwickeln.
Die Mitglieder der Allianz bringen dazu bereits bestehende Open-Source-Technologien und Forschungsprojekte ein. Gemeinsam arbeiten sie an einem offenen Sicherheits-Stack für KI-Agenten, der unter anderem Identitäts- und Isolationsmechanismen, sichere Formate für Modellgewichte, Werkzeuge zur Analyse mehrerer KI-Modelle sowie sichere Softwareentwicklungsprozesse umfasst. Nvidia steuert offene Modelle, Modellgewichte, Datensätze sowie das neue Forschungsframework Nvidia Labs Object-Oriented Agent (NOOA) bei, das die Entwicklung, Überprüfung und Verwaltung von KI-Agenten erleichtern soll. HPE beteiligt sich mit dem Zero-Trust-Identitätsframework SPIFFE/SPIRE, Hugging Face stellt mit Safetensors ein sicheres Format für Modellgewichte bereit, IBM und Red Hat erweitern mit Lightwell den Schutz der Open-Source-Lieferkette durch digital signierte Patches, und Microsoft bringt mit MDASH ein Agenten-Framework zur automatisierten Suche nach ausnutzbaren Softwarefehlern ein. Zudem hat SpaceXAI den KI-Coding-Agenten Grok Build als Open Source veröffentlicht und plant, auch die Modellgewichte der Grok-Modellfamilie offenzulegen.
Politischer Appell
Die Allianz fordert von Politik und Regulierungsbehörden, offene KI-Modelle und Sicherheitswerkzeuge stärker als Instrumente der Cyberabwehr zu verstehen. Pauschale Beschränkungen offener KI-Systeme würden aus ihrer Sicht die Verteidigungsfähigkeit schwächen und die Abhängigkeit von wenigen Anbietern erhöhen. Stattdessen plädiert sie für Investitionen in gemeinsam nutzbare offene Infrastrukturen wie Datensätze, Evaluierungsframeworks, Angriffssimulatoren und Red-Teaming-Werkzeuge, für die KI-gestützte Cybersicherheit.