Objekterkennung in Bildern mit Google Sets

Wissenschaftler der University of California in San Diego haben eine Plausibilitätsprüfung für die automatische Identifikation von Gegenständen in Fotografien entwickelt. Nach Angaben von Serge Belongie vom Department of Computer Science and Engineering ist es das erste Mal, dass der semantische Kontext zur Bilderkennung genutzt wird. Er stellte seinen Ansatz (PDF-Datei) zusammen mit den an der Entwicklung beteiligten Kollegen Andrew Rabinovich, Carolina Galleguillos, Eric Wiewiora und Andrea Vedaldi vergangene Woche auf der ICCV 2007 (11. IEEE International Conference on Computer Vision) in Rio de Janeiro vor.

Das System funktioniert in drei Schritten: Erst wird das Bild in verschiedene Bereiche aufgeteilt. Auf dem Beispielbild sind dies die Tennisspielerin, der Tennisplatz, der Schläger und das "gelbe Objekt". Im nächsten Schritt versucht eine Software eine Rangliste von wahrscheinlichen Namen für die Objekte zu erstellen. Im dritten und letzten Schritt wird der Kontext ergänzt, indem die verschiedenen möglichen Kombinationen von Begriffen auf maximale kontextuelle Übereinstimmung überprüft werden. Objekte, die sehr ähnlich aussehen, können durch diese Kontextergänzung besser identifiziert werden: So wird aus dem "gelben Objekt" im Beispielbild keine Zitrone, sondern ein Tennisball.

Zur Gewinnung der Kontextinformation nutzen die Wissenschaftler ein Tool aus der Google-Labs-Gruppe namens Google Sets, mit dem sich verwandte Suchbegriffe finden lassen. Wer Google Sets beispielsweise mit "John", "Paul" und "George" füttert, der erhält die Ergänzungen "Ringo", "Beatles" und "John Lennon". Bei Eingabe von "Neon" und "Argon" gibt der Dienst eine Liste aller Edelgase aus. (pem)