Statt Greenscreen: Netflix entwickelt Magenta-Greenscreen-Verfahren

Ein Forschungsteam von Netflix hat mit Magenta Greenscreen (MGS) eine neue Technik entwickelt, die im Gegensatz zur herkömmlichen Greenscreen-Technik, genauer Green Chroma Key, einige Verbesserungen erzielt. So soll MGS eine höhere Genauigkeit und schnellere Ergebnisse liefern. Spezielle Kameras zur Aufzeichnung werden dazu nicht benötigt.

Das den heutigen Greenscreens zugrundeliegende Verfahren wurde bereits in den 1930er-Jahren erstmals verwendet, damals noch mit blauen Hintergründen. Dabei werden Teile des Szenenbilds vor einfarbigem Hintergrund aufgenommen und dann mit anderem Bildmaterial kombiniert. Während die Aufnahmen früher mit statischen Kameras und Projektoren kombiniert wurden, passiert das heute in der digitalen Postproduktion. Die Technik wurde in Filmen, wie etwa "Der Zauberer von Oz" von 1939 eingesetzt, um die surrealen Welten Wirklichkeit werden zu lassen. In der modernen Zeit wurden sie in Filmen wie "The Matrix", "Iron Man", "Titanic" und "Avatar" verwendet.

Greenscreen am Limit

Die Technik ist jedoch keineswegs perfekt und ohne Fehler. Um ein optimales Ergebnis zu erreichen, muss das Set optimal ausgeleuchtet sein. Schatten etwa beeinträchtigen die Farbgenauigkeit und damit das Ergebnis. Auch darf die grüne Farbe des Hintergrunds nicht in Objekten des Vordergrundes auftauchen, weil sonst das Hintergrundbild darin projiziert wird oder es zu Farbverfälschungen kommt. Zusätzlich können Bewegungen feiner Details, wie etwa Haare, zu unerwünschten visuellen Artefakten führen.

Diese Probleme lassen sich mit guter Vorausplanung und – wenn möglich – nachträglicher Bearbeitung zwar vermeiden beziehungsweise beheben, allerdings ist das Ergebnis dann nicht immer perfekt.

Die von Netflix-Forschern entwickelte MGS-Technik, die auf Arxiv in dem wissenschaftlichen Paper "Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization" beschrieben wird, soll nachträgliche, manuelle Eingriffe überflüssig machen und die bestehende Chroma-Green-Key-Technik ersetzen können.

Grüner Hintergrund, magentafarbene Schauspieler

Die Bezeichnung Magenta Greenscreen leitet sich von dem gewählten Beleuchtungsansatz ab. Die Schauspieler agieren dabei vor einem Hintergrund, der durch hellgrüne LEDs ausgeleuchtet wird. Die Schauspieler und Objekte im Vordergrund werden mit roten und blauen LEDs angeleuchtet, die auf ihnen einen magentafarbenen Schimmer erzeugen. Digitalkameras zeichnen die Farbwerte entlang roter, grüner und blauer Spuren auf. So erfasst eine Spur, die Grüne, den Hintergrund, während der Vordergrund Schwarz ist. Die beiden anderen roten und blauen Spuren (Magenta) zeichnen den Vordergrund auf, der Hintergrund erscheint dann Schwarz. So getrennt kann das Hintergrundbild durch ein anderes ersetzt werden.

Um die Magentatöne auf den Schauspielern zu ersetzen, verwendet Netflix KI-Tools. Sie gleichen Farben der Schauspieler auf Fotos unter natürlicher Beleuchtung aufgenommen mit den gespielten Szenen ab. Das funktioniere in Echtzeit, wie der Leiter der Studie, Dmitriy Smirnov, sagt. Für die Aufzeichnung werde kein spezielles Kameraequipment benötigt. Auch eine manuelle Nachbearbeitung der Farben entfalle.

Lesen Sie auch

Video-Tutorial: Greenscreen im Eigenbau

Probleme gebe es dennoch: "Partielle Abdeckung an den Rändern, verschwommene und transparente Strukturen, defokussierte und bewegungsunscharfe Bereiche weisen alle eine partielle Transparenz auf", so Smirnov. "Die Bestimmung der RGB-Farbe des Vordergrundelements an einem Pixel sowie der Transparenz des Pixels ist ... knifflig".

Doch auch hierfür haben die Forschenden eine Lösung entwickelt. Sie verbesserten die Methode der Triangulation. Stationäre Objekte werden dabei vorab vor unterschiedlichen Hintergründen gefilmt, um eine genaue Definition der Objekte zu erzielen.

(olb)