KI-Roboter Frida malt Bilder auf Anweisung

Ein Forschungsteam des Robotics Institute der Carnegie Mellon University hat aus einem Roboterarm eine intelligente Malhilfe für Künstler geschaffen. Aus Textbeschreibungen, Bildern und Audios kann das robotische KI-Malsystem Frida (Frida – Framework and Robotics Initiative for Developing Arts), benannt in Anlehnung an die mexikanische Malerin Frida Kahlo, mit einem Pinsel ein Bild auf eine Leinwand malen. Dazu benötigt der Roboter aber Unterstützung, denn kreativ ist Frida grundsätzlich nicht.

Das auf künstlicher Intelligenz basierende Malsystem Frida, das die Forschungsgruppe in ihrem in Arxiv veröffentlichten Paper "FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment" (PDF) beschreiben, besteht aus einem Roboterarm, der mit einem herkömmlichen Künstlerpinsel sowie Farben hantiert, die ihm vorab fertig angemixt zur Verfügung gestellt werden. Um ein Bild malen zu können, benötigt Frida allerdings Input in Form einer Textbeschreibung, eines Fotos oder eines Audios mit Sprache oder Musik. Zusätzlich können andere Kunstwerke zur Inspiration vorgegeben werden.

Zwischen Simulation und Wirklichkeit

"Frida ist ein robotisches Malsystem, aber Frida ist kein Künstler", sagt Peter Schaldenbrand, Doktorand und Mitentwickler von Frida. Frida selbst generiert keine Ideen, sondern ist vielmehr ein Instrument, mit denen Künstler arbeiten können. Sie geben lediglich ein Ziel vor, das Frida umsetzen soll. Das System nutzt dazu KI-Modelle, wie sie etwa den Chat-Roboter ChatGPT und Dall-e 2 von OpenAI antreiben. Die damit generierten Bilder sind aber digital, Frida muss jedoch seine Bilder physisch mit dem Pinsel umsetzen. Das ist eine große Herausforderung, denn die Differenz zwischen dem simulierten und dem physischen Bild soll möglichst gering ausfallen. Dazu nutzt Frida das Real2Sim2Real-Konzept. Pinselstriche, die der Roboter auf der Leinwand gezogen hat, werden dazu genutzt, um den Simulator zu trainieren, damit er den physischen Fähigkeiten des Roboters und den verwendeten Farben möglichst nahekommt.

Hat Frida einen Malauftrag erhalten, erstellt der Roboter eine Simulation und einen Plan, wie ein Bild mit dem Pinsel hergestellt werden kann. Zusätzlich generiert das System eine Palette an Farben. Die muss derzeit noch von einem Mensch angemischt werden. Eine automatische Farbmischung befindet sich aber bereits in der Entwicklung, heißt es von den Wissenschaftlern.

Während des Malprozesses nutzt Frida Machine Learning, um den Fortschritt und das bisherige Ergebnis über Einzelaufnahmen einer Kamera beurteilen zu können und gegebenenfalls Anpassungen am Bild vorzunehmen – etwa auch dann, wenn mal ein unbeabsichtigter Farbklecks entsteht. Frida nutzt kurze und lange Pinselstriche, die mit unterschiedlicher Geschwindigkeit, Druckstärke und Biegung auf die Leinwand aufgebracht werden. Präzise sind die Pinselstriche nicht. Da das System aber auf Ungenauigkeiten reagiert und Anpassungen vornehmen kann, erhalten die impressionistisch wirkenden Bilder eine eigene Dynamik.

Frida entscheidet selbst, wann das Kunstwerk fertig ist. Insgesamt kann der Malprozess mehrere Stunden dauern. Künstler soll Frida aber nicht ersetzen, beteuern die Forschenden. Das Gegenteil sei der Fall: Das System soll die menschliche Kreativität fördern. "Ich persönlich wollte zum Beispiel Künstler werden. Jetzt kann ich mit Frida zusammenarbeiten, um meine Ideen in der Malerei auszudrücken", sagt Jean Oh, federführender Professor des Frida-Projekts.

Lesen Sie auch

Roboter malt Meisterwerke

Siehe auch:

• ChatGPT bei heise Download
• Dall-E 2 bei heise Download
• Stable Diffusion bei heise Download
• KI-Software bei heise Download

(olb)