Studie der Uni Passau
ChatGPT schreibt die besseren Schulaufsätze
Ein Forschungsteam der Universität Passau hat in einer Studie die Qualität von maschinell generierten Inhalten mit Aufsätzen von Schülerinnen und Schülern verglichen. Der KI-gestützte Chatbot schneidet bei allen Kriterien besser ab, insbesondere bei der Sprachbeherrschung.
Das Sprachmodell ChatGPT macht enorme Fortschritte. Nachdem die Version 3.5 Anfang des Jahres noch am bayerischen Abitur gescheitert war, erreichte der Nachfolger 4 kaum ein halbes Jahr später eine glatte Zwei.
Wie sehr die KI-generierten Inhalte das Schulsystem umwälzen könnten, verdeutlicht nun auch eine Studie der Universität Passau.
Die Forscher haben ebenfalls mit den beiden Versionen des Sprachmodells experimentiert. In der Studie, die im Oktober unter dem Titel „A large-scale comparison of human-written versus ChatGPT-generated essays“ im renommierten Nature-Journal „Scientific Reports“ erschienen ist, kommen sie zu dem Ergebnis, dass die Maschine die besseren englischsprachigen Aufsätze verfasst. Dazu haben sie Lehrkräfte maschinengenerierte Texte und Aufsätze von Schülerinnen und Schülern in der Oberstufe nach Richtlinien des niedersächsischen Kultusministeriums bewerten lassen.
„Mich hat überrascht, wie klar das Ergebnis ausgefallen ist“, sagt Prof. Dr. Steffen Herbold, Inhaber des Lehrstuhls für AI Engineering an der Universität Passau, der die Studie initiiert hat. Denn beide Versionen des Chatbots des Unternehmens OpenAI schnitten in allen Bereichen besser ab als die Schülerinnen und Schüler, wobei GPT-3 im Mittelfeld lag und GPT-4 die beste Leistung aufwies. „Das zeigt, dass Schulen diese neuen Werkzeuge nicht ignorieren sollten.“
KI-Modelle reflektieren
Der Informatiker führte die interdisziplinäre Studie gemeinsam mit der Computerlinguistin Prof. Dr. Annette Hautli-Janisz und der Informatik-Didaktikerin Ute Heuer durch. „Es ist mir ein Anliegen, Lehrerinnen und Lehrer auf die Herausforderungen und Chancen durch die zunehmende Verfügbarkeit künstlicher Intelligenzen vorzubereiten“, sagt die Informatik-Didaktikerin Heuer.
Sie hatte eine Fortbildung zum Thema „ChatGPT - Chancen und Herausforderung“ initiiert und gemeinsam mit dem Team durchgeführt. An dieser Veranstaltung, welche im März 2023 stattfand, beteiligten sich 139 Lehrkräfte, die mehrheitlich an Gymnasien unterrichteten. Die Lehrerinnen und Lehrer erhielten zunächst einen Einblick in ausgewählte technologische Ideen von Textgeneratoren im Allgemeinen und ChatGPT im Besonderen. In einer Praxisphase ging es sodann konkret um englischsprachige Texte, deren Ursprung die Fortbildungsteilnehmer nicht kannten.
Im Fragebogen bewerteten die Lehrkräfte die vorgelegten Aufsätze unter Verwendung von Skalen, die das Kultusministerium in Niedersachsen festgelegt hat. Dazu zählten inhaltliche Kriterien wie Thema, Vollständigkeit und Logik des Aufbaus sowie sprachliche Aspekte wie Wortschatz, Komplexität und Sprachbeherrschung. Für jedes Kriterium definierte das Passauer Forschungsteam eine Skala von 0 bis 6, wobei 0 für das schlechteste Ergebnis und 6 für das beste stand.
Maschine überdurchschnittlich bei Sprachbeherrschung
111 Lehrkräfte füllten den Bogen vollständig aus und bewerteten insgesamt 270 englischsprachige Aufsätze. Die größte Abweichung stellte das Forschungsteam bei der Sprachbeherrschung fest. Hier erreichte die Maschine 5,25 (GPT-4) und 5,03 Punkte (GPT-3). Die Schülerinnen und Schüler kamen durchschnittlich auf 3,9 Punkte. „Das bedeutet nicht, dass Schülerinnen und Schüler schlecht in der englischen Sprache sind. Vielmehr sind die Werte der Maschine überdurchschnittlich hoch“, betont Annette Hautli-Janisz, Juniorprofessorin für Computational Rhetoric und Natural Language Processing an der Universität Passau.
Für Hautli-Janisz, die gemeinsam mit ihrer Doktorandin Zlata Kikteva die Texte aus linguistischer Sicht analysierte, lieferte die Studie noch weitere spannende Einblicke – und zwar in die Sprachentwicklung der Maschine. „Wir sehen, dass sich die Modelle über die Zeit verändern und können mit unserer Studie belegen, dass sie bei unserem Task besser geworden sind.“ Darüber hinaus stellten die Forscherinnen Unterschiede zwischen der menschlichen und der maschinengenerierten Sprache fest: „Wenn wir in Zukunft mehr KI-generierte Texte lesen, dann stellt sich die Frage, ob und wie sich dies auf unsere menschliche Sprache auswirken wird“, sagt Hautli-Janisz.
Jobangebote+ passend zum Thema
Lesen Sie mehr zum Thema
Das könnte Sie auch interessieren
Forscher zu digitalem Arbeiten
Macht die KI uns dümmer?
Fabmobil bewirbt Halbleiter-Berufe
Willkommen in der Welt der Chips
Künstliche Intelligenz in der Bildung
Kommt jetzt KI offiziell an die Schulen?
Künstliche Intelligenz an der Uni
Wie lässt sich die KI für wissenschaftliches Arbeiten nutzen?
Kommentar
ChatGPT als Superkraft für die Lieferketten?
Versöhnungsparty mit Pizza und KI
OpenAI gibt »ChatGPT Voice« frei
Generative KI als Sicherheitsrisiko
Wofür man ChatGPT im Büro besser nicht einsetzt
Künstliche Intelligenz im Auto
DS Automobiles integriert ChatGPT in Spracherkennung
Bewerben mit Künstlicher Intelligenz
ChatGPT übernimmt das Anschreiben
Viele nutzen ChatGPT als KI…
…wollen aber nicht, das andere das tun
