ChatGPT sorgt für mehr Produktivität im Marketing

Ein Tool wie ChatGPT kann Marketing-Experten, Analysten oder Managern helfen, Texte sehr viel schneller zu verfassen, und dabei auch noch die Qualität des Geschriebenen zu verbessern. Das ist das Ergebnis einer Studie, die jetzt in "Science" veröffentlicht wurde. Das Ergebnis lässt sich allerdings nicht ohne weiteres verallgemeinern.

"ChatGPT kann einfach sehr gut bestimmte schriftliche Inhalte produzieren, sodass der Einsatz des Chatbots zur Automatisierung von Teilen des Schreibprozesses vermutlich eine Menge Zeit spart", sagt Shakked Noy, einer der zwei Autoren der Studie. "Viele Angestellte werden deshalb Tools benutzen, und es wird verändern, wie sie künftig ihre Arbeit strukturieren." Der Ökonomen Noy und seine Kollegin Whitney Zhang vom MIT rekrutierten für ihre Untersuchung 453 Fachleute mit Hochschulabschluss wie Marketingexperten und Manager, und baten sie, Pressemitteilungen, Kurzberichte, Analysen oder E-Mails zu verfassen. Für jede erledigte Aufgabe erhielten die Teilnehmer etwas Geld – die Produktivität der Arbeit wurde dementsprechend in "erzieltes Einkommen pro Minute" gemessen.

Um zu untersuchen, wie sehr die Teilnehmer dazu neigen, die Aufgaben möglichst schnell herunterschreiben, ohne auf die Qualität zu achten, führten die Ökonomen zwei weitere Belohnungsschemata ein, die besonders gute Texte stärker belohnten, als schlechte, aber schnell abgelieferte.

Texte schneller und besser verfasst – mit ChatGPT

Nachdem sie eine erste Aufgabe erledigt hatten, wurde etwa die Hälfte der Teilnehmer angewiesen, sich für ChatGPT zu registrieren und es zu nutzen, um einen zweiten Text zu erstellen. Die Gruppe, die mit dem Chatbot in Kontakt kam, beendete die zweite Aufgabe deutlich schneller – sie benötigten im Schnitt 40 Prozent weniger Zeit dafür. Gleichzeitig stieg die Qualität der Texte – gemessen an durch Experten vergebenen Punkten – um durchschnittlich 18 Prozent an. Erwartungsgemäß waren beide Effekte am größten bei Probanden, die ohne das Tool eher schlechter abschnitten. ChatGPT sorgt nach Ansicht der Autoren also für eine Art Angleichung des Leistungsniveaus. Die Ökonomen bemerken erfreut, dass die Ergebnisse konsistent seien mit ähnlichen Untersuchungen – 2022 hatten beispielsweise Andres Campero und Kollegen einen Produktivitätszuwachs von 27 Prozent durch GPT-3 bei Softwareentwickler ermittelt.

Die Untersuchung der beiden MIT-Studenten deute darauf hin, dass künstliche Intelligenz am Arbeitsplatz hilfreich sein könnte, indem sie als eine Art virtueller Assistent fungiert, sagt Riku Arakawa, ein Forscher an der Carnegie Mellon University, der die Nutzung großer Sprachmodelle durch Arbeitnehmer untersucht und nicht an der Untersuchung beteiligt war. "Das ist ein interessantes Ergebnis, das zeigt, wie die Zusammenarbeit zwischen Mensch und KI bei bestimmten Aufgaben wirklich gut funktioniert: Wenn ein Mensch die künstliche Intelligenz nutzt, um seinen Output zu verfeinern, lassen sich bessere Inhalte produzieren", sagt Arakawa.

Aufgepasst beim Output von ChatGPT

Allerdings räumen die Autoren auch zwei wesentliche Schwächen der Studie ein: Erstens waren die Aufgaben so gestellt, dass sie sich "durch kurze, in sich abgeschlossene Prompts" beschreiben ließen, während typische Aufgaben im Arbeitsleben eher durch "vage Zielsetzungen und Anweisungen" charakterisiert sind, bei denen man zunächst mal herausfinden muss, was genau eigentlich zu tun ist.

Außerdem kam es Noy und Zhang in ihrem Experiment nicht darauf an, ob der Output faktisch korrekt war. Gerade hier haben große Sprachmodelle wie ChatGPT aber noch massive Probleme. Der Produktivitätsgewinn sei daher in der Realität vermutlich "etwas geringer" schreiben die Autoren, denn die Notwendigkeit, die Ergebnisse zu prüfen, koste zwar Zeit, aber der Zeitgewinn durch ChatGPT sei "oftmals immer noch nützlich". Der US-Anwalt Steven Schwartz beispielsweise hat diese Zeit nicht investiert. Er wurde vergangenen Monat von einem Richter zu einer Geldstrafe von 5.000 US-Dollar verurteilt, weil er ChatGPT zur Erstellung eines Schriftsatzes verwendet hatte, der falsche Rechtsgutachten enthielt. "Technologische Fortschritte sind alltäglich, und es ist nichts Unrechtes daran, ein zuverlässiges Werkzeug der künstlichen Intelligenz zur Unterstützung zu verwenden", schrieb der Richter Kevin Castel in seinem Urteil, "aber die bestehenden Vorschriften verpflichten die Anwälte, die Genauigkeit ihrer Unterlagen zu gewährleisten".

In Bezug auf die Auswirkungen auf Arbeitsplätze argumentieren Noy und Zhang, dass eine Steigerung der Produktivität nicht notwendigerweise zu einem Abbau von Jobs führen müsste – eine These, die nicht alle Ökonomen teilen. Denn zum einen könnte ein Produktivitätszuwachs dazu führen, dass der Preis für bestimmte Produkte fällt, und damit die Nachfrage ansteigt – was wiederum zu einem höheren Bedarf an Arbeitskräften führt. Zum anderen könne gerade die Notwendigkeit, die Resultate generativer KI sorgfältig zu prüfen, dazu führen, dass es mehr Bedarf an erfahrenen Programmierern gibt, die genau das können.

(wst)