Wie OpenAI ChatGPT entwickelt hat: Ein exklusives Gespräch mit den Machern

Seite 4: Arbeit für ein zukünftiges Modell

Sandhini Agarwal: "Viele Dinge, die wir gefunden haben, waren Jailbreaks, was definitiv ein Problem ist, das wir lösen müssen. Die Nutzer probieren dafür diese komplizierten Methoden, um das Modell dazu zu bringen, schlechte Dinge zu sagen. Das haben wir natürlich nicht komplett übersehen und es war für uns auch nicht sehr überraschend. Dennoch ist das etwas, woran wir im Moment aktiv arbeiten. Wenn wir Jailbreaks finden, fügen wir sie zu unseren Trainings- und Testdaten hinzu. Alle Dinge, die wir sehen, fließen in ein zukünftiges Modell ein."

Jan Leike: "Jedes Mal, wenn wir ein besseres Modell haben, wollen wir es sofort herausbringen und testen. Wir sind sehr optimistisch, dass das Targeted Adversarial Training die Situation beim Jailbreaking deutlich verbessern kann. Es ist nicht klar, ob diese Probleme ganz verschwinden werden, aber wir glauben, dass wir einen Großteil wesentlich erschweren können. Es ist ja nicht so, dass wir vor der Veröffentlichung nicht gewusst hätten, dass so etwas möglich ist. Ich glaube aber, es ist sehr schwierig, die wirklichen Sicherheitsprobleme dieser Systeme vorherzusehen, wenn man sie erst einmal eingeführt hat. Deshalb legen wir großen Wert darauf, zu beobachten, wofür die Leute das System nutzen, zu sehen, was hier passiert – und dann darauf zu reagieren. Das soll nicht heißen, dass wir nicht proaktiv Sicherheitsprobleme entschärfen sollten. Aber ja, es ist sehr schwer, alles vorherzusagen, was passieren wird, wenn ein System dann in der realen Welt zum Einsatz kommt.

Bing Chat betritt die Bühne

Im Januar stellte Microsoft sein Bing Chat vor, einen Such-Chatbot, von dem viele annehmen, dass er eine Version des offiziell noch nicht angekündigten GPT-4 von OpenAI ist. Dort kommentiert man das stur mit der Aussage, dass Bing Chat von "einem unserer Modelle der nächsten Generation" betrieben werde. Microsoft habe es speziell für seine Suchmaschine angepasst. Es beinhalte "Fortschritte von ChatGPT und GPT-3.5".

Natürlich schafft der Einsatz von Chatbots durch Tech-Giganten, die einen milliardenschweren Ruf zu verlieren haben, ganz neue Herausforderungen für diejenigen, die mit der Entwicklung der zugrunde liegenden Modelle beauftragt sind.

Sandhini Agarwal: "Im Moment steht definitiv mehr auf dem Spiel als noch vor sechs Monaten, aber es ist immer noch weniger als in einem Jahr. Eine Sache, die bei diesen Modellen wirklich wichtig ist, ist der Kontext, in dem sie eingesetzt werden. Bei Google oder Microsoft reicht schon eine Tatsache aus, die nicht der Wahrheit entspricht, um zu einem großen Problem zu werden, weil es sich um Suchmaschinen handelt. Das erforderliche Verhalten eines großen Sprachmodells für etwas wie die Internet-Suche ist ein ganz anderes als für etwas, das eine Art spielerischer Chatbot ist. Wir müssen herausfinden, wie wir den Spagat zwischen all diesen verschiedenen Verwendungszwecken hinbekommen. Die Technik muss für die Menschen in einer Reihe von Kontexten nützlich sein, in denen das gewünschte Verhalten sehr unterschiedlich sein kann. Das erhöht den Druck. Denn wir wissen jetzt, dass wir diese Modelle so entwickeln müssen, dass sie in Produkten eingesetzt werden können. ChatGPT ist, seitdem wir nun eine eigene API haben, ein Produkt. Wir bauen eine Art Allzwecktechnik auf und müssen sicherstellen, dass sie in allen Bereichen gut funktioniert. Das ist eine der größten Herausforderungen, vor denen wir im Moment stehen."

"ChatGPT scheitert sehr oft"

John Schulman: "Ich habe das Ausmaß unterschätzt, in dem sich die Leute mit der politischen Seite von ChatGPT befassen würden. Wir hätten beim Zusammentragen der Trainingsdaten möglicherweise bessere Entscheidungen treffen können, was dieses Problem verringert hätte. Daran arbeiten wir jetzt."

Jan Leike: "Aus meiner Sicht scheitert ChatGPT sehr oft – es gibt so viel zu tun. Ich habe nicht das Gefühl, dass wir die Probleme gelöst haben. Wir müssen uns selbst über die Grenzen der Technologie im Klaren sein – und andere müssen das auch. Ich meine, Sprachmodelle gibt es jetzt schon eine ganze Weile, aber wir stehen immer noch am Anfang. Wir wissen um all die Probleme, die sie haben. Ich denke, wir müssen einfach ganz offen dabei sein, die Erwartungen managen und deutlich machen, dass es sich hier nicht um ein fertiges Produkt handelt."