KI lernt besser texten

In den letzten zwei Jahren hat die Computerlinguistik, ein wichtiges Teilgebiet der Künstlichen Intelligenz, enorme Fortschritte gemacht. So existiert etwa mittlerweile ein Sprachmodell namens GPT-2 des offenen Forschungslabors OpenAI aus San Francisco, mit dem sich ganze Romansequenzen, (falsche) Nachrichtenartikel und unendlich vorzusetzende Adventure-Spiele generieren lassen.

Allerdings sind GPT-2 und andere Modelle letztlich nur gigantische Textvorhersagesysteme, bei denen es nicht um die Sinnhaftigkeit dessen geht, was da generiert wird. Die ausgegebenen Sätze klingen oberflächlich nach flüssiger Sprache, sind es aber in Wahrheit nicht. So kann man einem Modell beispielsweise nur schwer befehlen, bei einem bestimmten Thema – etwa dem Gesundheitswesen – zu bleiben. Gleichzeitig können sich Modelle wie GPT-2 auch missbrauchen lassen, um beispielsweise rassistische oder toxische Inhalte zu generieren, was ihre Nützlichkeit noch weiter einschränkt.

Ubers Texttechnik

Wissenschaftler in der KI-Forschungsabteilung des Ridesharing-Anbieters Uber, Uber AI, haben nun eine Methode entwickelt, die es Nutzern erleichtern soll, ein bestimmtes Thema oder sogar eine Stimmung vorzugeben, die die generierten Sätze haben. Mit der Eingabe "Bei dem Problem ging es..." und der Vorgabe, sich auf militärische Themen zu generieren, kommt dann beispielsweise folgendes heraus: "Bei dem Problem ging es darum, dass die Regierung Milliarden für das Militär ausgegeben hatte und ihre Truppen nicht rechtzeitig einsetzen konnte." Würde man dem Uber-Modell stattdessen das Thema Politik vorgeben, käme etwa folgender Satz: "Bei dem Problem ging es um einen einzelnen Abschnitt in der Gesetzgebung. Es ist unklar, ob der Ausschuss dafür stimmen wird, das Gesetz auszuweiten."

Obwohl das Modell immer noch kein Verständnis für die Satzbedeutung hat, liefert die Technik den Nutzern mehr Kontrolle. Absehbar ist, dass sich damit KI-generierte Sprache für domänenspezifische Anwendungen schaffen lässt – beispielsweise für Chatbots im Bereich Gesundheit oder Finanzbranche. Gleichzeitig könnte man die Modelle von der Generierung problematischer Inhalte wegführen.

Bei der Umsetzung werden zwei unterschiedliche statistische Modelle eingesetzt. Das erste ist einfach der originale Sprachmodell, etwa GPT-2, das die Sätze anhand von Wahrscheinlichkeiten konstruiert, ob bestimmte Worte in den Texten hintereinander erscheinen. Das zweite Modell prüft dann, ob der Output des ersten Modells die gewünschten Attribute aufweist – etwa ob es sich an das vorgegebene Thema oder die vorgegebene Satzstimmung hält. Wenn das gewünschte Thema "Weltraum" ist, wird dann beispielsweise überprüft, wie viele relevante Worte der Output enthält – beispielsweise "Planet", "Galaxie" oder "Orbit". Wenn die Stimmung "positiv" sein soll, könnte das Evaluierungsmodell trainiert werden, den emotionalen Inhalt der ausgegebenen Worte zu checken.

Besser für die Umwelt

Nach der Ersteingabe durch den Nutzer ("Prompt") beginnt der Prozess der Vorhersage der nachfolgenden Worte. Nach jedem Wort wird deren Wert mit dem Evaluierungsmodell überprüft und der Output dann anhand dieser Rückmeldung angepasst. Der an den Nutzer ausgegebene Satz hat dann die gewünschten Attribute, gleichzeitig lernt das große Sprachmodell weiter, seine Sprachkompetenz zu verbessern.

Laut der Uber-AI-Forscher ist die neue Methode sehr flexibel und kann mehrere Ziele miteinander kombinieren. So kann man beispielsweise über das Kochen mit einem negativen Ton schreiben lassen. Zudem ist der Ansatz in seinem Berechnungsumfang effizient. Andere Methoden können den Output von Sprachmodellen zwar bereits im Hinblick auf Themen und Emotionen beeinflussen, benötigen dazu aber einen umfassenden neuen Trainingsdurchgang, gar ein Retraining. Beim Umfang von GPT-2 ist dies finanziell enorm teuer und aufgrund der notwendigen Rechenleistung zudem schlecht für die Umwelt. "Ein Masterstudent wie ich verfügt nicht über diese Ressourcen", sagt Sumanth Dathathri, der an der Caltech-Hochschule eingeschrieben ist, und Co-Autor des Uber-AI-Papers während eines Praktikums bei Uber war. Die neue Methode vermeidet demnach ein Retraining vollständig, indem mehr Kontrolle über den bestehenden Output von Modellen gegeben wird.

Bei Uber AI glaubt man, dass sich das Verfahren in vielen verschiedenen Bereichen verwenden lässt, seien es Dialogsysteme, Übersetzungscomputer oder sogar in der Kunst. 2016 entwickelte das Labor eine ähnliche Methode, um die Generierung von Bildern zu steuern. "Es gab dann viele Künstler, die die Technik verwendet haben, um schöne Sachen zu produzieren", erinnert sich Jason Yosinski, Mitbegründer von Uber AI, der die Studie begleitet hat. Der neue Textgenerator biete sich hierfür ebenfalls an.

(bsc)