Startseite > Halbleiter > Damit KI-Agenten auch das tun, was sie sollen, und nur das

Nvidia: Drei neue NIM-Microservices

Damit KI-Agenten auch das tun, was sie sollen, und nur das

16. Januar 2025, 17:22 Uhr | Iris Stroh

KI-Agenten verbessern die Nutzererfahrung, vorausgesetzt, sie antworten genau, ohne abzuschweifen, ohne Unsinn zu erzählen oder gar schädliche Informationen zu verbreiten. Diese Probleme adressiert Nvidia jetzt mit drei neuen NIM-Microservices für KI-Guardrails.

▶ Diesen Artikel anhören

Laut Kari Briski, Vice President für Enterprise AI Models, Software und Services bei Nvidia, sind KI-Agenten mittlerweile weit verbreitet. »Bereits eine von zehn Organisationen nutzen solche Agenten. 80 Prozent wiederum planen ihre Einführung in den nächsten drei Jahren«, so Briski. Damit KI-Agenten aber auch sinnvoll eingesetzt werden können, müssen sie nicht nur genau sein, sondern die Entwickler müssen auch sicher sein, dass »sie Security-, Datenschutz- und Governance-Anforderungen erfüllen«, so Briski weiter. Darüber hinaus müssten sie natürlich auch performant arbeiten, sprich schnell antworten und die Infrastruktur effizient nutzen. Und genau dafür hat Nvidia neue NIM Microservices für KI-Guardrails vorgestellt. Sie sind Teil der NeMo-Guardrails-Sammlung, wobei NeMo die End-to-End-Plattform von Nvidia für die Entwicklung von kundenspezifischer generativer KI ist. Briski: »Diese Microservices helfen dabei, den KI-Agenten auf Kurs zu halten.«

Bei den drei NIM-Microservices handelt es sich um folgende Software-Programme:

Content Safety NIM Microservice – damit wird verhindert, dass der KI-Agent vereingenommene oder verletzende Antworten gibt und damit den ethischen Standards entspricht. Das Modell wurde mit dem hauseigenen »Aegis Content Safety«-Datensatz trainiert. Dabei handelt es sich um einen von Menschen annotierten Datensatz, der laut Nvidia zu den qualitativ hochwertigsten zählt. Briski: »Der Datensatz ist auf Hugging Face öffentlich zugänglich und umfasst über 35.000 von Menschen annotierte Datenproben, die sich auf KI-Sicherheit und Jailbreak-Versuche konzentrieren.
Topic Control NIM Microservice -damit wird erreicht, dass der KI-Agent bei genehmigten Themen bleibt und nicht abschweift oder unangemessener Inhalt widergibt.
Jailbreak Detection NIM Microservice – dieser bietet Schutz vor Jailbreak-Versuchen, mit denen Sicherheitsbeschränkungen umgangen werden sollen. Briski: »Hier erfolgte das Training mit einem Datensatz, der 17.000 bekannte, anspruchsvolle und erfolgreiche Jailbreaks enthält.«

Briski betont, dass Entwickler aus unterschiedlichen Branchen auch vollkommen verschiedene Anforderungen an seinen KI-Agenten stellt, sprich »One Size fits all« funktioniert nicht. Dementsprechend könnten die Entwickler die Guardrails anpassen, aber auch erweitern, auch mit Angeboten von Drittanbietern aus dem Nvidia-Ökosystem oder aus der Open-Source-Welt.

Briski abschließend: »Kleine Sprachmodelle, wie die in der NeMo Guardrails-Sammlung, ermöglichen außerdem eine geringere Latenz und sind so konzipiert, dass sie auch in ressourcenbeschränkten oder verteilten Umgebungen effizient ausgeführt werden können. Der Schutz wird also verbessert, ohne die Latenz deutlich zu erhöhen, selbst wenn mehrere Guardrails dem Modell hinzugefügt werden.«