Eine Million Dollar für bessere Filmtipps

Netflix, der bekannteste US-Online-Vermieter für Film-Silberscheiben, hat einen hoch dotierten Wettbewerb ausgeschrieben, um seinen DVD-Empfehlungsdienst zu verbessert. Eine Million Dollar soll derjenige erhalten, der den Algorithmus in Sachen Genauigkeit bis 2011 um zehn Prozent verbessert.

Angesprochen werden vor allem Experten auf dem Gebiet der Künstlichen Intelligenz, die sich auf den Bereich maschinelles Lernen spezialisiert haben. Darauf aufbauende Empfehlungsdienste suchen im Internet aus zuvor gesammeltem Wissen passende Musik, Bücher und Filme für den Nutzer aus. Systeme wie das von Netflix, Amazon und anderen E-Commerce-Firmen setzen auf das Prinzip, dass Menschen, die das gleiche Produkt mögen, mit einiger Wahrscheinlichkeit auch in anderen Bereichen einen ähnlichen Geschmack zeigen.

Hinter diesem einfachen Prinzip verbirgt sich aber ein äußerst komplexer Algorithmus, der Millionen von Nutzerdaten, Zehntausende von Produkten und sich ständig verändernde Beziehungen zwischen all den Nutzervorlieben verwalten muss, damit er tatsächlich funktioniert. Um mit dieser Komplexität umgehen zu können, muss die Technik zuvor normalerweise mit riesigen Datensätzen "trainiert" werden. Beim Netflix-System wird dabei unter anderem die Sterne-Bewertung mit einbezogen, die Nutzer an einem Film vergeben (1 bis 5 Sterne). Ausgestattet mit genügend Ausgangsinformationen können gute Algorithmen auch spätere Bewertungen vorhersagen und so Filme vorschlagen, die jemand mögen könnte.

Um die Technik zu verbessern, sind jedoch wie erwähnt große Datensätze notwendig. Die stellt Netflix seinen Wettbewerbsteilnehmern auch zur Verfügung – insgesamt 100 Millionen Empfehlungen, bei denen alle persönlichen Daten entfernt wurden, wie Jim Bennett, als Vizepräsident bei Netflix für das Empfehlungssystem zuständig, erklärt. Im Interview mit Technology Review erklärt Bennett, wie das Empfehlungssystem bislang funktioniert – und was seine Verbesserung derart schwierig macht, dass sich ein mehrjähriger Wettbewerb mit so viel Preisgeld lohnt.

Technology Review: Herr Bennett, wie funktioniert ihr jetziges Empfehlungssystem, das Sie "Cinematch" nennen?

Jim Bennett: Als erstes besorgen Sie sich einmal 100 Millionen Nutzerbewertungen von rund 18.000 Filmen. Dann nehmen Sie sich daraus zwei Filme und suchen nach den Leuten, die beide bewertet haben. Anschließend schauen Sie nach, ob diejenigen, die den einen Film sehr gut bewerten, auch den anderen sehr gut bewerten oder ob beide ihn übereinstimmend nicht mochten. Auf Basis dieser Bewertungen schaut Cinematch dann nach neuen Filmen. Anschließend müssen Sie das natürlich auch noch für alle möglichen anderen Paarungen aus 65.000 Filmen machen.

TR: Das heißt also, dass Cinematch mir Filme immer dann empfiehlt, wenn sie von Leuten gut gefunden werden, die andere Filme ähnlich bewerten wie ich. Funktioniert diese Methode wirklich für alle Netflix-Filme?

Bennett: Viele eher obskure Streifen besitzen nicht sehr viele Bewertungen und dann funktioniert die Methode dort natürlich nicht so gut. Bei Filmen mit einer großen Anzahl an Bewertungen jedoch schon. Damit das aber wirklich klappt, müssen die Daten vielfach fein abgestimmt werden, weil die Leute manchmal recht interessante Bewertungsmuster zeigen.

TR: Die wären?

Bennett: Beispielsweise gibt es viele Leute, die Filme mit entweder einem oder fünf Sternen bewerten, nichts dazwischen. Und dann gibt es die, die allen Streifen immer nur drei Sterne geben. Wonach man dann suchen muss, ist eine interessante Bandbreite von Meinungen, weil man ja wirkliche Übereinstimmungen finden will. Das ist der Kern unserer Bewertungs-Engine.

TR: Wie messen Sie die Genauigkeit Ihres Systems?

Bennett: Wir haben Cinematch anhand von 100 Millionen Bewertungen trainiert und dem System die Aufgabe erteilt, daraus vorherzusagen, wie weitere 3 Millionen Bewertungen der selben Nutzer ausschauen könnten. Dann haben wir die Cinematch-Ergebnisse mit den tatsächlich aufgelaufenen Nutzerbewertungen verglichen, denn der tatsächliche Datensatz ist 103 Millionen Bewertungen groß. Das machen wir inzwischen regelmäßig. Wir erhalten ungefähr zwei Millionen Bewertungen pro Tag und überprüfen dann die täglichen Fluktuationen des Systems. Ähnlich wollen wir auch die zum Wettbewerb eingereichten Algorithmen auf ihre Genauigkeit prüfen. Der Datensatz, den wir den Teilnehmern bereitstellen, hat ebenfalls eigentlich eine Größe von 103 Millionen Bewertungen, veröffentlicht haben wir aber nur 100 Millionen.

TR: Um die eine Million Dollar zu gewinnen, muss ein neuer Algorithmus die Empfehlungsgenauigkeit um 10 Prozent gegenüber Cinematch erhöhen. Gleichzeitig haben Sie einen "Fortschrittspreis" in Höhe von 50.000 Dollar ausgeschrieben, der jedes Jahr vergeben wird. Er soll an denjenigen gehen, der die stärkste Verbesserung gegenüber dem besten eingereichten Algorithmus des Vorjahres erreicht – ein Abstand von mindestens einem Prozent. Was bedeutet diese prozentuale Verbesserung aber tatsächlich für den Netflix-Kunden in der Praxis?

Bennett: Wenn Sie auf unsere Website gehen und 100 Filme für uns bewertet haben, werden die roten Sterne unter jedem Film für Sie künftig personalisiert. Wir nutzen diese Bewertungen, um die Vorhersage weg von Durchschnittsgeschmacksempfehlungen hin zum persönlichen Stil zu bringen. Eine Verbesserung um 3 Prozent entspricht dann vielleicht einem Unterschied von einem Viertel Stern. Wir haben Millionen von Nutzern, die Millionen von DVDs bewerten und dieser ein Viertel Stern Unterschied hilft uns, die Liste besser zu sortieren. Die individuellen Filmempfehlungen werden dadurch nicht unbedingt so viel besser, aber der Satz empfohlener Filme kann insgesamt ganz anders aussehen. Es ist wie bei einem Tanker: Bewegt man den nur ein bisschen, hat das große Auswirkungen.

TR: Warum ist es eigentlich so schwer, Empfehlungssysteme zu verbessern?

Bennett: Einer der Gründe dafür ist, dass es kaum Datensätze gibt. Viele Maschinenlern-Anwendungen benötigen ziemlich große Datensätze, die leicht Millionen von Unterdatensätzen besitzen. Es gibt viele verschiedene Ansätze, solche Probleme zu lösen, aber sie benötigen alle große Datensätze. Und bei vielen Datensätzen bewegt sich nichts mehr, sobald man einmal eine Technik auf sie angewendet hat.

TR: Also suchen Sie nach einem Algorithmus, der das Problem ganz anders angeht als Cinematch?

Bennett: Korrekt. So weit wir wissen, gibt es viele gute Ideen da draußen. Wir können sie bloß nicht alle selbst austesten. Wir wissen, dass es in der Welt Leute gibt, die bereits in der Literatur ganz vorne dabei sind und die Empfehlungssysteme in- und auswendig kennen. Wir würden gerne wissen, welche Techniken sie anwenden würden.

TR: Welche Ansätze, die in der Literatur erwähnt werden und funktionieren könnten, wurden bislang nicht an Filmempfehlungen getestet?

Bennett: Schwer zu sagen. Es gab einen Artikel in "Science" vor einigen Monaten, in dem eine interessante Kombination aus zwei Arten neuronaler Netzwerke verwendet wurde. Das eine neuronale Netzwerk überwacht das Maschinenlernen und das andere steuert das Lernen an sich. Bei Netflix suchen wir nach Übereinstimmungen bei den Bewertungen und das ist ein lineares Modell. Aber nicht jede Form von Wissen kann in einer linearen Kombination aus Funktionen repräsentiert werden. Dieses Modell aus "Science" war nichtlinear. Ich denke, diese Technik könnte auch ziemlich gut für uns sein.

TR: Gibt es andere wichtige technische Herausforderungen bei Netflix, die durch einen Wettbewerb gelöst werden könnten?

Bennett: Über weitere Ausschreibungen will ich hier nicht spekulieren. Gibt es andere technische Herausforderungen für Netflix? Natürlich. Neben den reinen Systemanforderungen, die Empfehlungstechnik mit einer wachsenden Kundschaft am Laufen zu halten, gibt es auch viele andere schwer zu lösende Probleme in der Firma – etwa, zwei Millionen DVD-Scheiben pro Tag an die Leute zu verschicken. Und dann wäre da noch die interessante Herausforderung, uns für die Download-Welt fit zu machen, bei denen die Leute ihre Filme über das Internet herunterladen, statt sich DVDs schicken zu lassen. Ergo: Diese Firma ist voller großer Herausforderungen.

Übersetzung: Ben Schwan. (nbo)