Chatbot ändert sein Verhalten – Aktuelle Studien über ChatGPT

Der viel beachtete Chatbot des Entwicklers OpenAI eröffnet neue Möglichkeiten der Nutzung Künstlicher Intelligenz und sorgt dafür, dass der Kreis der Nutzenden rasant wächst. Die Entwickler von KI-Systemen stehen dabei in der Verantwortung, ethische Grundsätze zu verfeinern und die zugrundegelegten Kriterien offenzulegen. Staatliche Regulierung kann dabei nur über einen sachlichen Diskurs in der Öffentlichkeit gelingen.

Was genau haben also die Forschenden tatsächlich herausgefunden? Die besagte Studie zeigt, dass sich das Verhalten von GPT-3.5 und GPT-4 in kurzer Zeit deutlich verändert hat. Zum Beispiel war GPT-4 noch im März 2023 gut darin, Primzahlen zu identifizieren, aber bereits drei Monate später war die Genauigkeit stark gesunken. Dagegen war GPT-3.5 im Juni 2023 signifikant besser als drei Monate zuvor. Außerdem waren beide Modelle im Juni weniger bereit, sensible Fragen zu beantworten, und ihnen unterliefen mehr Formatierungsfehler bei der Code-Generierung. Die vollständigen Ergebnisse sind hier veröffentlicht.

Die Autorinnen und Autoren betonen, wie wichtig es ist, das Verhalten von großen Sprachmodellen in laufenden Anwendungen kontinuierlich zu überwachen und zu bewerten. Ihre Ergebnisse wollen sie in einer langfristigen Studie fortlaufend aktualisieren und damit andere ermutigen, ähnliche Überwachungsanalysen durchzuführen. Die Evaluierungsdaten und ChatGPT-Antworten sind unter github.com öffentlich zugänglich.

GPT-3.5 mit den Studienergebnissen konfrontiert, nennt auf Nachfrage folgende Begründung: „Die qualitativen Abweichungen in der Leistung von GPT-3.5 und GPT-4 können durch verschiedene Faktoren erklärt werden, darunter Aktualisierungen und Modellversionen, Training und Daten, Bias und Sensitivität, Hyperparameter und Konfiguration sowie den Kontext und die Umgebung, in denen die Modelle eingesetzt werden. Diese Abweichungen können auf Veränderungen in den Trainingsdaten, Algorithmen und Einstellungen zurückzuführen sein. Die genauen Gründe für diese Unterschiede sind jedoch oft komplex und schwer zu identifizieren, da es sich um komplexe Systeme handelt. Daher ist eine kontinuierliche Überwachung und Verbesserung der Leistung dieser großen Sprachmodelle von großer Bedeutung.“

ChatGPT in der Praxis

Eine weitere aktuelle Studie von Forschenden an der Universität Stanford zeigt, dass GPT-4 bei schwierigen medizinischen Fragen besser abschneidet als Medizinstudierende im ersten und zweiten Studienjahr. Damit der Chatbot fallbasierte Fragen bearbeiten konnte, mussten jedoch die Fragestellungen angepasst werden. Das Forschungsteam gibt auch zu bedenken, dass ChatGPT zum Teil falsche Details in die Antworten einbringt. Das könne auf eine Vermischung von Informationen aus ähnlichen Fällen zurückzuführen sein. Die Studie „Capabilities of GPT-4 on Medical Challenge Problems“ ist hier abrufbar.

Kann ChatGPT bei Investitionsentscheidungen helfen? In zwei Studien aus dem Frühjahr 2023 wurde der Chatbot für Aufgaben in Verbindung mit dem Aktienmarkt eingesetzt. In der Studie „Can ChatGPT Forecast Stock Price Movements?“ sollte die KI aus Artikelüberschriften ablesen, ob gute, schlechte oder irrelevante Nachrichten für die Aktienkurse zu erwarten sind. Das Studienteam berechnete dann einen Score und dokumentierte eine positive Korrelation zwischen diesen Scores und den anschließenden Aktienkursentwicklungen. In der Studie „Can ChatGPT Decipher Fedspeak?“ konnte ChatGPT erklären, warum es welche Aussage wie eingeordnet hatte, und argumentierte dabei ähnlich wie die als Vergleichsgruppe dienenden Analystinnen und Analysten der US-Notenbank Fed.

Forschende am Massachusetts Institute of Technology untersuchten die Produktivität von ChatGPT bei professionellen Schreibaufgaben mittleren Niveaus. Dafür wurden in einem Online-Experiment 453 gut ausgebildeten Fachkräften zwei Aufgaben zugewiesen, wobei die Hälfte von ihnen bei der zweiten Aufgabe mit ChatGPT arbeiten sollte. Die Ergebnisse zeigen, dass ChatGPT die Produktivität steigerte: Die benötigte Zeit zur Texterstellung verringerte sich um 40 Prozent, die Qualität der Ergebnisse stieg um 18 Prozent. Die Studie „Experimental evidence on the productivity effects of generative artificial intelligence“ ist hier abrufbar.

Wie Governance-Verantwortliche ChatGPT sinnvoll einsetzen können, zeigen die Praxisbeispiele im jetzt erscheinenden Buch „ChatGPT in der Unternehmenspraxis“. Neben den Stärken des Chatbots werden auch die Risiken der KI aufgezeigt, die vor allem aufgrund von fehlerhaften und subjektiv gefärbten Antworten bestehen. Es wird verdeutlicht, dass sich ChatGPT zwar als Arbeitshilfe eignet. Die Verantwortung bei der Nutzung von KI-generierten Informationen bleibt jedoch bei den anwendenden Personen.

Zum Themenspektrum Künstliche Intelligenz bietet der ESV folgende Webinare an:

• ChatGPT, BingChat, Bard: KI für Ihre Kanzlei (13.7.2023)
• Die Regulierung Künstlicher Intelligenz in Europa: Perspektiven für ChatGPT, Bard und Co. (7.9.2023)
• ChatGPT, BingChat, Bard: KI für Ihre Kanzlei (20.9.2023)

Haftung für KI-Systeme	16.08.2023
Alexander Beyer: KI-Systeme können nur so gut sein, wie die Algorithmen und Daten, die uns zugrunde liegen.
	Der Verordnungsvorschlag der EU-Kommission zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (KI) vom 21.04.2021 enthält keine Regelung zur Haftung für KI-Systeme. Daher legte die Kommission am 28.09.2022 ihren Vorschlag für eine KI-Haftungs-Richtlinie (AI Liability Directive) vor. Dieser soll die Vorschriften über die außervertragliche zivilrechtliche Haftung an die künstliche Intelligenz anpassen. Ein Anlass für Alexander Beyer in der WzS 08-2023 die wissenschaftliche Diskussion zur KI-Haftung dazulegen und einen kurzen Überblick über die Regelungen des Richtlinienvorschlags zu geben. mehr …

ChatGPT in der Unternehmenspraxis Autor: Wolfhart Fabarius Der Einsatz von Künstlicher Intelligenz revolutioniert die Arbeitswelt und mit ChatGPT steht hierbei ein besonders vielseitig nutzbares Anwendungstool zur Verfügung. Wie Sie als Governance-Verantwortlicher den Chatbot sinnvoll einsetzen können, zeigen die Praxisbeispiele in diesem Buch mit thematischen Schwerpunkten wie Nachhaltigkeit, Cybersicherheit, Datenschutz und Überwachung von Lieferketten. Neben den Stärken von ChatGPT werden auch die Risiken der KI aufgezeigt, die vor allem aufgrund von fehlerhaften und subjektiv gefärbten Antworten des Chatbots bestehen. Es wird verdeutlicht, dass sich ChatGPT zwar als Arbeitshilfe eignet. Die Verantwortung bei der Nutzung von KI-generierten Informationen bleibt jedoch bei den anwendenden Personen. Eine erstmalige Zusammenstellung praktischer KI-Anwendungsbeispiele für Risikomanagement, Controlling und Compliance – leicht verständlich sowohl für Governance-Profis als auch Nutzerinnen und Nutzer ohne große Vorkenntnisse.

Programmbereich: Management und Wirtschaft