CoFRIDA: Roboter malt Bilder zusammen mit einem Menschen

Ein Wissenschaftsteam am Robotics Institute (RI) der Carnegie Mellon University (CMU) hat ein Robotersystem mit dem Namen "Collaborative FRIDA" (CoFRIDA – Collaborative Framework and Robotics Initiative for Developing Arts) entwickelt, das in der Lage ist, zusammen mit Menschen künstlerisch tätig zu werden und etwa Bilder gemeinsam mit ihnen zu malen.

"Es ist so etwas wie das zeichnerische Äquivalent zu einer Schreibanleitung", sagt Jim McCann, außerordentlicher Professor am RI. "Wenn man nicht weiterkommt und nicht weiß, was man tun soll, kann man damit etwas auf das Blatt bringen. Es kann die Barriere einer leeren Seite durchbrechen. Das ist ein wirklich interessanter Weg, die menschliche Kreativität zu fördern."

Das Robotersystem CoFRIDA kann auf zwei unterschiedliche Arten verwendet werden, schreiben die CMU-Forscher in ihrem wissenschaftlichen Paper "CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting“, der auf Arxiv im Preprint erschienen ist. Zum einen kann dem mehrachsigen Roboterarm, der mit einem Pinsel oder einem Permanentmarker ausgestattet werden kann, Anweisungen in Textform gegeben werden, was der Roboter malen soll. Auch eine Vorgabe in Bildform ist möglich. Zum anderen kann der Roboter auf Basis eines bereits angefangenen Bildes dem menschlichen Künstler weiterhelfen, etwa indem CoFRIDA und der Mensch abwechselnd das Bild weitermalen.

Co-Painting

Dieses Co-Painting genannte Verfahren ist dabei alles andere als trivial, denn CoFRIDA muss die übergeordneten Ziele des menschlichen Künstlers verstehen, damit der Roboter sinnvoll Striche setzen und das Bild weitermalen kann. Die Forscher erstellten dazu einen eigenen, selbstüberwachten Trainingsdatensatz. Er enthielt Zeichnungen, aus denen die Forscher einzelne Elemente so entfernten, dass das ursprüngliche Motiv weiterhin erkennbar war. So entfernten die Wissenschaftler etwa den Rand der Räder eines Autos und dessen Fenster, behielten den Umriss des Fahrzeugs jedoch bei.

"Wir haben versucht, verschiedene Stadien des Zeichenprozesses zu simulieren", erklärt Jun-Yan Zhu, einer der beteiligten Wissenschaftler an dem CoFRIDA-Projekt. "Es ist einfach, zu einer endgültigen Skizze zu gelangen, aber es ist ziemlich schwer, sich die Zwischenstufen dieses Prozesses vorzustellen.

Anhand des Datensatzes von halbfertigen und fertigen Bildern erstellten die Forscher ein Text-Bild-Modell mit dem Namen InstructPix2Pix. Damit kann CoFRIDA Pinselstriche zu bereits angefangenen Bildern hinzufügen. Das Robotersystem kann die Skizze dabei in unterschiedlichen Richtungen fortführen. Die Entscheidung, wie das Ergebnis aussehen wird, bleibt jedoch dem Menschen vorbehalten, der damit auch die künstlerische Kontrolle behält.

Lesen Sie auch

Sieben bekannte KI-Bildgeneratoren im Test

(olb)