Aktuell | Forschung | c't | heise magazine

Traumbilder zur Texteingabe

Die Schöpfer des Sprachmodells GPT-3 begnügen sich nicht mit künstlich intelligenter Texterzeugung: Der Nachfolger ihres Bildgenerators Dall-E erzeugt nach sprachlicher Vorgabe fotorealistische Darstellungen und variiert Bildvorlagen sinnvoll.

Verstehen und variieren: Zu einer Vorlage (links) kann Dall-E 2 eine vergleichbare Szene erzeugen, etwa das Foto eines Blumenladens, den es gar nicht gibt (rechts).

Bild: OpenAI

15 Monate nach Dall-E hat das Forschungsunternehmen OpenAI nun Dall-E 2 vorgestellt. Wie sein Vorgänger ist das KI-System in der Lage, eine textliche Beschreibung in eine Auswahl bildlicher Interpretationen umzusetzen. Dabei übertrumpft Dall-E 2 seinen Vorgänger nicht nur mit einer viermal so hohen Bildauflösung seiner Kompositionen, es kann vor allem auch Bildvorlagen bearbeiten. Daraus entstehen beispielsweise Variationen von Gemälden oder Fotos. Die KI entfernt auf Wunsch auch Objekte aus einer Vorlage oder fügt welche hinzu, wobei sie Texturen, Schatten und Reflexionen berücksichtigt.

Die Bilderzeugung des tiefen neuronalen Netzes von Dall-E und Dall-E 2 arbeitet mit einem sogenannten Diffusionsmodell, das ausgehend von einer zufälligen Punktewolke schrittweise Bildstrukturen entwirft und ausformt. Ein anderes Herzstück des Systems bildet CLIP (Contrastive Language-Image Pre-Training), ein Teilnetz, das Bildinhalte klassifiziert und textlichen Kategorien zuordnet. CLIP analysiert Bildvorgaben in Dall-E 2 oder bewertet dessen eigene Bildkreationen. Erst im März haben OpenAI-Forscher beschrieben, dass CLIP multimodale Neuronen aufweist, die sich bei der Erkennung bestimmter Konzepte aktivieren, zum Beispiel beim Anblick von Angela Merkel oder Spiderman. Überraschenderweise reagieren diese Neuronen in gleicher Weise auf ein Foto, eine Zeichnung oder sogar nur auf die textliche Erwähnung ihres Erkennungsobjektes.