Software sortiert Fotos automatisch nach Ähnlichkeit

Forscher der FHTW Berlin haben ein System zur Bildsortierung nach Inhalt entwickelt: Es ordnet eine Fotosammlung automatisch so auf einer Landkarte an, dass farblich ähnliche Motive nahe beieinander liegen.

In Pocket speichern vorlesen Druckansicht 40 Kommentare lesen
Lesezeit: 4 Min.

Das Zentrum für Mensch-Maschine-Kommunikation der FHTW Berlin hat eine Methode entwickelt, um Bildersammlungen nach inhaltlichen Kriterien zu sortieren – idealerweise einige hundert bis mehrere tausend Fotos. Der von Prof. Kai Uwe Barthels Team entwickelte ImageSorter ordnet Bilder automatisch auf einer 2D-Landkarte oder einer Kugel so an, dass ähnliche Bilder räumlich nahe beieinander liegen. Dabei werden Techniken der inhaltsbasierten Bildersuche (CBIR = Content Based Image Retrieval) mit einer für den Nuzter leicht verständlichen Sortierung und Darstellung kombiniert.

Klassische Bilddatenbanken sind dumm und ungebildet. Aus eigener Kraft können sie nicht mal Äpfel und Birnen unterscheiden. Erst recht nicht den Mount Everest vom Mont Blanc. Deshalb müssen sich Fotografen ständig umfangreiche Beschreibungen für Dinge ausdenken, die sie selbst ganz unbewusst erfassen. CBIR-Verfahren versprechen seit langem, das zeitaufwändige System der Textbeschreibungen in Rente zu schicken, können bislang allerdings nur mäßige Erfolge vorweisen. Sie alle versuchen, aus bestimmten Eigenschaften wie etwa Farbe und Textur von Bildern Gemeinsamkeiten abzuleiten und stützen sich auf ein Beispielbild als Suchvorlage. Das Problem dieser Query by Example: Wem ein geeignetes Beispielbild fehlt, der kann keine Suche starten. Zudem kann man sich nicht sicher sein, ob wirklich alle relevanten Fotos im Suchergebnis auftauchen.

Natürlich erkennt auch der ImageSorter weder Personen noch Gegenstände oder Landschaften, benötigt aber kein Beispielbild und eignet sich daher sehr gut, um beispielsweise das Ergebnis einer recht allgemeinen Suchanfrage (etwa "Kühe") visuell strukturiert anzuzeigen und komfortabel darin zu navigieren: Bilder mit Kühen auf der Weide würden sich dann aufgrund ihrer Farbverteilung räumlich benachbart zusammendrängen, während die Stallkühe eine eigene Herde auf der Karte bilden.

"Ähnlichkeit" leitet ImageSorter aus dem charakteristischen Farbverlauf der Bilder ab, wozu er sich einer Weiterentwicklung des Color-Layout-Deskriptors des Metadatenstandards MPEG-7 bedient. Dadurch werden die Millionen RGB-Werte eines Fotos auf wenige charakteristische Merkmale reduziert: Zunächst wird das Bild stark verkleinert und vom RGB- in den YUV-Farbraum konvertiert. Die im übrigen auch zur JPEG-Kompression verwendete diskrete Cosinus Transformation (DCT) reduziert anschließend die Farbverläufe des Fotos auf die wichtigsten, also auf einen vieldimensionalen Feature-Vektor. Die Kunst der Sortierung besteht nun darin, diese mehrdimensionalen Vektoren aller Motive so auf zwei Dimensionen abzubilden, dass sich visuell ähnliche auf der Karte umeinander scharen.

ImageSorter löst diese Aufgabe mit einer selbstorganisierenden Karte. Diese kann man sich vorstellen wie ein Netz mit Knoten, von denen jeder mit einem mehrdimensionalen Vektor besetzt ist. Die Werte dieser Initialisierungsvektoren sind zufällig. Nun lässt man die aus den Bilddaten errechneten Feature-Vektoren auf das Netz los: Jeder Knoten darf aus dem Feature-Vektor lernen, mit dem er am stärksten korreliert. Auch die Umgebungsvektoren lernen mit, sodass sie mit jedem Trainingsdurchgang mehr darauf getrimmt werden, Feature-Vektoren mit ähnlichen Eigenschaften anzuziehen. Anhand der kostenlosen Version 1.0 von ImageSorter (Windows) kann man sehr gut beobachten, wie sich das System organisiert und schließlich einen stabilen Zustand erreicht. Am besten eignet sich diese Art der Sortierung für Landschafts- und Stimmungsbilder. Bei der Porträtsammlung hingegen führt eher eine Schlagwortsuche zum Erfolg, da das CBIR keine Gesichter erkennt.

Die Software steht noch am Anfang ihrer Entwicklung. Derzeit sortiert sie nur Bilder innerhalb eines Verzeichnisses. Zudem nutzt sie lediglich einen der zahlreichen MPEG-7-Deskriptoren. Dennoch ist die ImageSorter-Technik eine sehr nützliche Ergänzung zu den verbreiteten Sortiermethoden, die Motive üblicherweise nach Name oder Datum und im besten Fall nach EXIF- und anderen Metadaten anordnen. In künftigen Versionen möchte Kai Uwe Barthel weitere Deskriptoren wie etwa die Textur- und Formanalyse einsetzen, mit deren Hilfe sich größere Bildmengen zusätzlich filtern lassen. (atr)