Fotos entrauschen mit künstlicher Intelligenz

Künstliche Intelligenz setzt beim Mindern digitalen Bildrauschens wie auf vielen anderen Feldern neue Maßstäbe, hat sich aber noch längst nicht durchgesetzt. Pionier ist die französische Softwarefirma DxO. Deren Programme PhotoLab 4.2 und das neu entwickelte PureRaw enthalten einen KI-Algorithmus zur Reduktion von Bildrauschen namens DeepPrime, der den bisherigen Algorithmus ergänzt und Bildqualität auf hohem Niveau verspricht. PhotoLab ist ein vollwertiger Raw-Entwickler, PureRaw eine Art Vorstufe, die Bildfehler korrigiert und ein digitales Negativ im DNG-Format ausgibt, das man zum Beispiel in Lightroom weiterbearbeiten kann.

Klassische Verfahren zur Rausch­unterdrückung versuchen ungewollte ­Frequenzanteile zu unterdrücken und erwünschte zu verstärken oder zu schützen, denn Licht besteht aus Wellen verschiedener Frequenzen. Bei diesem Prozess gehen in der Regel Teile des Nutzsignals verloren: Die Rauschunterdrückung glättet das Bild und versucht, Kanten zu schützen, wobei feine Texturen und weniger aus­geprägte Kanten untergehen. Künstliche Intelligenz hat das Potenzial, schützenswerte Strukturen zu erhalten.

Wir werfen in diesem Artikel zunächst einen Blick auf die Funktionsweise des KI-Ansatzes. Anschließend versuchen wir das Bildrauschen in einem Foto mit herkömmlichen Verfahren zu reduzieren und vergleichen das Ergebnis mit dem der künstlichen Intelligenz von DxO. Zum Einsatz kommen neben DxO PhotoLab die Programme Affinity Photo, Capture One Pro und Lightroom CC. Der Softwarehersteller Skylum hat zwar Ende 2020 eine KI-gestützte Version seiner Bildbearbeitung Luminar veröffentlicht, die aber bei der Reduktion von Bildrauschen noch nicht auf künstliche Intelligenz setzt.

Adobe hat für Photoshop CC 2021 ebenfalls einen Algorithmus auf Grundlage künstlicher Intelligenz wider das digitale Bildrauschen vorgesehen, dieses Versprechen aber bisher nicht eingelöst. Das Programm enthält seit Herbst 2020 einen Eintrag im Neural-Filter-Menü, das Methoden maschinellen Lernens zur Bildkorrektur versammelt, vertröstet Interessenten aber auf unbestimmte Zeit: Unter dem Eintrag „Rauschunterdrückung“ kann man lediglich sein Interesse an dem Thema bekunden. Somit bleibt DxO ­derzeit der einzige Hersteller mit KI-­Rauschunterdrückung.

Tücken des Bildrauschens

Algorithmen gegen Bildrauschen laufen in der Praxis in verschiedene Fallen, wenn sie das Rauschen, aber auch feine Strukturen mit einem Weichzeichner bearbeiten. Besonders auffällig sind glattgebügelte Hautporen, weil Menschen feinste Unterschiede bei anderen Menschen leicht als unnatürlich wahrnehmen.

Aber auch Texturen wie Gras, Strand oder Holzmaserung sollten erhalten bleiben. Über einen Schwellenwertregler lassen sich bei herkömmlichen Algorithmen Strukturen bis zu einem gewissen Pixelradius erhalten. Eine Maske verhindert, dass besonders kontrastreiche Kanten an Schärfe verlieren und wendet das Verfahren gegen Bildrauschen nur auf Flächen an. Leider funktioniert das nicht bei schwachem Kontrast wie Holz. Außerdem kann man die Technik nicht selektiv anwenden. Beispielsweise ließe sich rein blauer Himmel radikal glattziehen. Beim Sandstrand, dessen Textur ohnehin Bildrauschen ähnelt, schadet auch nur geringer Weichzeichner. Ihn sollte man im Zweifel gar nicht behandeln.

Farbenblinde Sensoren

Entrauschen beginnt bei der Raw-Konvertierung. Die findet entweder schon in der Kamera statt – das Endprodukt ist dann eine JPEG-Datei – oder man bemüht einen Raw-Entwickler wie Capture One, DxO PhotoLab oder Lightroom CC. Dabei ­entwirrt die Software den Datenhaufen der Kamerasensoren zu einem Foto.

Kamerasensoren sind farbenblind. Sie unterscheiden nur Helligkeitswerte und können damit nur Schwarz-Weiß-Bilder aufnehmen. Für die Farbfotografie sehen Digitalkameras die Welt durch einen Filter, der aus einem Muster in den Farben Rot, Grün und Blau besteht. Der Anteil grün gefilterter Sensoren ist dabei größer als der von rot und blau gefilterten. Damit imitiert er die Natur: Das menschliche Auge kann Grüntöne am besten unterscheiden, um sich in der Vegetation zu orientieren.

Vor allem zwei Filter kommen in der Praxis zum Einsatz: Der am häufigsten ­verwendete Filter ist nach Bryce Bayer benannt. In den Siebzigerjahren entwickelte er ihn für Kodak. Beim Bayer-Muster wechseln in einer Zeile Grün- und Blaufilter, in der nächsten Grün- und Rotfilter. Die Grünfilter sind also ebenso häufig wie die Filter der anderen beiden Farben zusammen.

Eine alternative Anordnung zeigt der X-Trans-Filter von Fujifilm. Dieses Muster besteht aus neun Feldern mit grünen Filtern in der Mitte und in den Ecken. Die vier mittleren Felder an den Seiten sind abwechselnd mit roten und blauen Filtern besetzt. Die RGB-Verteilung beträgt bei X-Trans 2:5:2, bei der Bayer-Matrix 1:2:1. Sensoren mit dem X-Trans-Muster sollen dem menschlichen Sehvermögen näher sein und sind weniger anfällig für Moiré, weshalb Fujifilm auf einen Antialiasing-­Filter verzichtet.

Das Mosaik sortieren

Zunächst liegt ein Mosaik aus Farbwerten für Rot, Grün und Blau vor, das sortiert werden will. Im ersten Schritt, dem De­mo­saicing (lies: De-mosaic-ing), interpoliert die kamerainterne Software oder ein Raw-Entwickler die Werte so, dass aus dem Mosaik RGB-Pixel entstehen. Das ist keine triviale Aufgabe, denn die Möglichkeiten, eine Raw-Datei in ein Bild umzuwandeln, sind unendlich.

Die Algorithmen dazu ähneln denen der Bildskalierung. Der einfachste übernimmt die Werte des jeweils nächsten Nachbarn. Bei blauem Himmel ist das genau richtig, an der nächsten scharfen Kante zum weißen Hausdach aber völlig falsch. Das Demosaicing berücksichtigt also Kanten, verhindert gezackte Strukturen an diagonalen Linien durch Antialiasing, vermeidet Farbverschiebungen, die Fotografen als chromatische Aberrationen oder Farbsäume kennen, und leistet einiges mehr. Mit der Entwicklung digitaler Kameratechnik geraten die Verfahren zum Demosaicing immer komplexer.

Je kleinteiliger die Texturen ausfallen, beziehungsweise je weniger Pixel zur Interpretation eines Musters zur Verfügung stehen, desto fehleranfälliger zeigen sich solche Ansätze. Neuere Algorithmen stützen sich daher nicht auf die relativ simplen mathematischen Modelle zur Berechnung der RGB-Pixel aus der Filtermatrix, sondern interpretieren den Bildinhalt mit­hilfe neuronaler Netze, um möglichst natur­getreue Texturen zu erzeugen.

Statt einzelne Pixel aus den Umgebungspixeln zu berechnen, soll die künstliche Intelligenz von DxO anhand des Inhalts interpretieren. Sie wird dazu mit Trainingsdaten gefüttert, in diesem Fall einer großen Anzahl von Fotos. Beim überwachten Lernen findet das neuronale Netz zwischen Input und gewünschtem Output die idealen Werte für eine Vielzahl von Parametern wie lokale Übergänge, lokale Histogramme und lokale Mittelwerte. Neuronale Netze zur Bildinterpretation fangen mit lokalen Werten an und verknüpfen diese zu immer größeren Bildbereichen, bis das ganze Foto interpretiert wird. Erst seit etwa zehn Jahren sind GPUs leistungsfähig genug, um solche Operationen auszuführen.

Sichtbarer Dunkelstrom

Der Bildinterpreter muss außer den gezeigten Details noch einen zweiten, entscheidenden Unsicherheitsfaktor interpretieren: das Bildrauschen. Es entsteht bei einem ungünstigen Verhältnis aus nutzbaren und störenden Daten: Ein Bildsensor setzt idealerweise nur Photonen in elektrischen Strom um, doch auch Wärme und Hintergrundstrahlung regen ihn an. Ein Kühlen des Sensors unterdrückt solches Rauschen, was in der wissenschaftlichen Astronomiefotografie auch geschieht. Ebenfalls führen Fertigungsungenauigkeiten zu Bildrauschen, außerdem können beim Auslesen und Quantisieren der Daten Fehler auftreten, die Bildrauschen nach sich ziehen.

Die Menge des Bildrauschens hängt von der Pixelgröße ab, die sich aus der Sensorgröße und dessen Auflösung ergibt. Bei gleicher Bildauflösung zieht ein kleiner Sensor höheres Rauschen nach sich als ein größerer, denn bei Letzterem sind auch die einzelnen Bildelemente größer und nehmen demzufolge mehr Licht auf, was wiederum den Nutzanteil am Signal erhöht.

An einem sonnigen Sommertag überdeckt das nutzbare Signal spielend solche Störfaktoren. In einer nächtlichen Gasse oder bei den extrem kurzen Belichtungszeiten, die in der Sportfotografie üblich sind, reicht die Lichtmenge für die Fotografie kaum aus, also erhöht der Fotograf oder die Kameraautomatik den ISO-Wert. Digitalkameras verstärken dabei das Signal, um ein aussagekräftiges Bild zu erzeugen – allerdings inklusive unerwünschter Signalteile. Der Nutzanteil der Daten ist in so einem Fall derart gering, dass die beschriebenen unerwünschten Anteile sichtbar werden.

Farb- und Helligkeitsrauschen

Unterschieden werden Farbrauschen (Chrominanzrauschen) und Helligkeitsrauschen (Luminanzrauschen). Das erste äußert sich in farbigen Pixeln, das zweite in Salz-und-Pfeffer-Rauschen, das an analoge Schwarz-Weiß-Filme erinnert. Es macht sich in Form von Graustufen bemerkbar. Chrominanzrauschen entsteht durch unabhängige Rauschmuster in einzelnen Farbkanälen und wird als deutlich störender wahrgenommen als Luminanzrauschen. Bei modernen Digitalkameras tritt Helligkeitsrauschen in der Regel ­häufiger auf. Farbrauschen entsteht vor allem in nachträglich aufgehellten dunklen Bereichen.

Bildrauschen verteilt sich in der Regel zufällig in typischer spektraler Leistungsdichte über das Bild. Je nach Kameramodell beziehungsweise Sensortyp sieht das statistisch anders aus: Das eine Modell rauscht eher in den dunklen Bildregionen, ein anderes vielleicht tendenziell eher in den Mitteltönen.

Viele Kameras unterdrücken das Bildrauschen intern vor der JPEG-Ausgabe. Im einfachsten Fall wird das Bild weichgezeichnet – mit den beschriebenen Nebeneffekten. Bei anspruchsvollen Verfahren nimmt die Kamera nach dem eigentlichen Foto ein Referenzbild auf und vergleicht die Sensordaten. Das Fotografieren dauert dann doppelt so lange. In einem Raw-Entwickler kann man auf das Entrauschen weitaus behutsamer Einfluss nehmen. Dazu sollte man allerdings Raw-Fotos und keine JPEGs heranziehen.

Entrauschen in der Theorie

Demosaicing und Denoising bedingen einander: Wenn ausschließlich vor dem Demosaicing entrauscht würde, stünden die Farbinformationen für die Pixel noch gar nicht fest. Würde erst nach dem Demosaicing entrauscht, hätte sich das Bild­rauschen aus den Sensorelementen in benachbarten RGB-Pixeln vervielfacht. Raw-Entwickler kombinieren beides in einem mehrstufigen Prozess: Auf Raw-­Entrauschen folgt Demosaicing und ­darauf RGB-Entrauschen.

Bisher bieten die meisten Raw-Entwickler und Bildbearbeitungsprogramme einen Details-Dialog, in dem man Luminanz- und Farbrauschen getrennt voneinander behandelt. In üblichen Algorithmen zum Entrauschen, wie sie Capture One und Lightroom in ihren Details-Dialogen anbieten, kann man dafür jeweils lediglich die Standardabweichung angeben, und zwar fürs ganze Bild.

Den besten Wert für die Intensität des Algorithmus und den Schwellenwert zum Detailschutz muss man im Raw-Entwickler selbst finden. Das eine Extrem zeigt glatte Flächen ohne Bildrauschen und ohne Texturen, das andere feine Details – aber immer noch Bildrauschen. Fotos sind jedoch selten derart homogen, wie im ­eingehenden Beispiel des Strandbilds ­beschrieben. Möglichkeiten für diskrete Werte zum Entrauschen für blauen Himmel und Sandstrand sehen Raw-Entwickler gar nicht erst vor. Das beschriebene Szenario für unterschiedliche Bildregionen zu bearbeiten ist also extrem aufwendig.

Maschinelles Lernen verspricht beim Entrauschen einfach anzuwendende Lösungen mit besseren Resultaten. Statt die immer gleiche Berechnung auf immer ­andere Bilddaten loszulassen, versuchen neuronale Netze das Bild zu interpretieren und dabei passende Werte für die gezeigten Detailformen in unterschiedlichen Bildregionen zu finden. Damit beseitigen sie auch den menschlichen Unsicherheitsfaktor, denn nicht jeder bringt die Erfahrung mit oder hat die Muße, ideale Werte für jedes Rauschproblem zu finden.

Der DeepPrime-Algorithmus, den der französische Softwarehersteller DxO in seinem Raw-Entwickler PhotoLab 4 anbietet, verbindet Demosaicing und Denoising mit Methoden maschinellen Lernens miteinander. Er soll die Bildqualität gegenüber dem älteren Prime-Algorithmus um zwei ISO-Werte verbessern.

Bilder nach ihrem Inhalt zu klassi­fizieren ist eine vergleichsweise einfache Aufgabe: Input und Output lassen sich gut kontrollieren, wenn man eine Sammlung von Strandbildern das Attribut „Strand“ zuweist. Bei Bildrauschen liegt der Fall komplizierter, da man unmöglich jedes rauschende Pixel in den Fotos der Trainingsmenge markieren kann. Die Lösung ist ein Foto ohne natürliches, sondern mit nachträglich hinzugefügtem künstlichen Bildrauschen. Darüber hinaus trainierte DxO seinen Algorithmus mit Raw-Fotos verschiedener Kameras, da jede Kamera das Raw-Foto vor der Ausgabe digital bearbeitet – ganz roh sind diese Daten also in der Regel nicht.

Praktische Resultate

In der Praxis zeigen sich unterschiedliche Resultate, nicht zuletzt auch auf Grund undurchsichtiger Bedienkonzepte. Wir haben die automatisch generierten Ergebnisse der KI von DxO PhotoLab 4.2 und PureRaw mit denen verglichen, die wir mit Affinity Photo 1.9, Capture One Pro 21 und Lightroom CC 4.2 erzielen konnten. Darüber hinaus gibt es noch viele andere Programme mit Filtern gegen Bildrauschen. Der Importdialog Camera Raw von Photoshop CC 2021 verwendet dieselbe Engine wie Lightroom CC und Lightroom Classic CC. Also reicht hier ein Kandidat exemplarisch für die anderen. Abgesehen von der Funktion in Camera Raw hat Photoshop im Menü Filter/Rauschfilter den ältesten Entrauschenfilter aller genannten Kandidaten an Bord. Er bietet keine Optionen und zeitigt ein kaum sichtbares Ergebnis.

Lightroom CC 4.2 hat einen recht einfach zu interpretierenden Dialog parat: „Rauschreduzierung“ und „Farbrauschen reduzieren“ tun, wie ihnen geheißen, ersteres kümmert sich um Helligkeitsrauschen. Mit den „Details“-Reglern kann man jeweils Strukturen schützen. Lightroom geht dem Rauschen an den Kragen. Dabei müssten aber auch Texturen und Kanten dran glauben.

Der Raw-Entwickler Capture One wendet sich an Profis und ist zwar zunächst kompliziert zu bedienen, beweist aber immer wieder einen Sinn für Ge­nauigkeit im Detail. So wirft auch der Dialog „Rauschreduzierung“ einige Fragen auf. „Helligkeit“ und „Farbe“ beziehen sich auf die beiden Arten des Bildrauschens – die sollte der Hersteller dann auch so nennen. „Detail“ schützt Kanten und Texturen beziehungsweise glättet Oberflächen. „Single Pixel“ retuschiert laut Hilfe Artefakte, die bei langer Belichtung entstehen. Capture One erhält Strukturen und Kanten, lässt allerdings gerade in dunklen Bereichen auch eine Portion Bildrauschen.

Die Bildbearbeitung Affinity Photo 1.9 unterstützt ICC-Farbmanagement, RGB- und CMYK-Modus, Lab-Farbkorrektur und nichtdestruktive Bearbeitung. Beim Öffnen einer Raw-Datei wechselt Affinity Photo von der Photo- in die Develop-Persona. Bildrauschen und Schärfe bearbeitet man dort im Details-Reiter. Luminanz- und Farbrauschen kommt man getrennt voneinander mit den Reglern für Stärke in Prozent sowie Detailgrad und der Luminanz- beziehungsweise Farbauswirkung bei. Der Unterschied zwischen dem ersten und dem dritten Regler ist rätselhaft, die Bedienung wenig intuitiv. Die Hilfe hilft nicht: Ihr zufolge bestimmt der erste Regler „die Intensität“, der dritte „wie stark“ das Rauschen entfernt wird. Das klingt wie eine Paraphrase und so wenig trennscharf fühlen sich auch die Regler an. So gut ­Affinity Photo auch ist: Beim digitalen ­Entrauschen leistet das Programm wenig. Der Hersteller schafft es nicht, seine eigenen Regler zu erklären. Das Resultat wirkt schwammig weich und detailarm.

DxO PhotoLab 4.2 ist ein klassischer Raw-Entwickler mit einer einfachen Bildverwaltung und einem Bearbeiten-Modus mit Paletten für Belichtungssteuerung, Weißabgleich, Farbkorrektur, Sättigung, Kontrast und für Details. Das Programm enthält Algorithmen zur Bildverbesserung wie die Belichtungsautomatik DxO Smart Lighting und den Bildverbesserer DxO ClearView Plus. Den Entrauschenfilter DeepPrime hat DxO mit seinem Archiv aus Raw-Fotos unterschiedlicher Kameras gefüttert hat. Der Algorithmus läuft lokal, ist dementsprechend rechenintensiv und erstellt eine Vorschau nur im Lupenfenster. Auf das gesamte Bild wird DeepPrime erst beim Export angewendet. Je nach Hardware und Auflösung dauert das mehrere Minuten pro Bild. DxO PhotoLab reduziert das Bildrauschen sowohl in hellen als auch in dunklen Bereichen, erhält dabei die Farben und schont Kanten sowie Texturen.

Fazit

Bildrauschen zu reduzieren ist ein schmaler Grat zwischen feinen Details und den unangenehmen Störungen. Die Qualität des Ergebnisses ist ein Mix aus Bedienkonzept und Algorithmus. Lightroom enthält einen recht einfach zu bedienenden Dialog, mit dem man auf die Schnelle gute Resultate erreicht. Bei Capture One sollte man das Handbuch bemühen, kann dann aber auf behutsamere Behandlung zählen. Wie Serif den Dialog von Affinity Photo meint, ist unklar und so fällt auch das ­Ergebnis aus.

Künstliche Intelligenz findet nicht nur schneller und zuverlässiger den Sweet Spot als ein Nutzer, sondern ist auch in der Lage, unterschiedliche Bildbereiche mit den jeweils für sie optimalen Einstellungen zu bearbeiten. Noch hat es sich nicht durchgesetzt, DxO zeigt aber, was möglich ist. Zwar kann man mit Capture One oder Lightroom auch ähnlich gute Resultate erzielen, braucht dafür aber viel Erfahrung und deutlich mehr Zeit als die künstliche Intelligenz. (akr@ct.de)