Große Sprachmodelle versprechen KI-Lösungen für Wirtschaft und Gesellschaft. Ihre Ergebnisse sind jedoch oft nicht nachvollziehbar, fehlerhaft oder mit Vorurteilen behaftet. Expertinnen und Experten der Plattform Lernende Systeme sehen die Forschung in Deutschland in einer guten Ausgangsposition.
Voraussetzung: ein europäisches Ökosystem für große Sprachmodelle sowie anwendungsnahe Forschung, die den Transfer in die industrielle Praxis erleichtert. Ein aktuelles Whitepaper benennt Forschungsbedarfe und Handlungsoptionen.
Sprachmodelle sind eine Schlüsseltechnologie der künstlichen Intelligenz (KI). Sie erkennen, produzieren, übersetzen und verarbeiten Sprache und sind Kern vielfältiger Anwendungen. Sie können etwa beim Programmieren oder im Kundenservice unterstützen und Kommunikation sowie Wissensverarbeitung in Unternehmen effizienter gestalten. Obwohl deutsche Forscherinnen und Forscher an vielen Stellen an der Entwicklung großer Sprachmodelle beteiligt sind, dürfe die Forschung und Entwicklung in Deutschland in diesem dynamischen Forschungsfeld, das stark durch außereuropäische Akteure und große Technologieunternehmen geprägt wird, nicht den Anschluss verlieren, heißt es in dem Whitepaper »Große Sprachmodelle – Grundlagen, Potenziale und Herausforderungen für die Forschung«.
»Wenn wir Sprachmodelle für Anwendungen in und aus Europa nutzen wollen, brauchen wir europäische Sprachmodelle, die die hiesigen Sprachen beherrschen, die Bedürfnisse unserer Unternehmen und ethischen Anforderungen unserer Gesellschaft berücksichtigen. Aktuell werden die Sprachmodelle aber von amerikanischen und chinesischen Tech-Riesen erstellt – und kontrolliert«, so Volker Tresp, Professor für Maschinelles Lernen an der Ludwig-Maximilians-Universität München und Leiter der Arbeitsgruppe Technologische Wegbereiter und Data Science der Plattform Lernende Systeme.
Aktuell gibt es nur wenige einsprachige, sogenannte monolinguale Modelle, die auf ausschließlich deutschen Textdaten beruhen. Auch Modelle, die domänen-spezifische Sprache sensibler Anwendungsbereiche wie Medizin und Justiz berücksichtigen, sind nicht verbreitet. Viele bedeutende, mehrsprachige Modelle wie GPT-4 sind hingegen für die öffentliche Forschung meist nicht offen zugänglich.
»Sprachmodelle verfügen über ein enormes wirtschaftliches Potenzial. Für einen Großteil der deutschen Unternehmen ist es aber nicht rentabel, Sprachmodelle für den Einsatz im eigenen Betrieb aufzubauen. Leider existiert derzeit jedoch kein ausreichend leistungsfähiges und kommerziell nutzbares Modell für die deutsche Sprache. Wir benötigen daher offen zugängliche Modelle – insbesondere auch für die deutsche Sprache – sowie Methoden, mit denen sich diese kostengünstig an die spezifischen Anforderungen verschiedener Industriezweige anpassen lassen«, sagt Alexander Löser, Gründer und Sprecher des Forschungszentrums Data Science an der Berliner Hochschule für Technik und Mitglied der Arbeitsgruppe Technologische Wegbereiter und Data Science.