Google stellt Reranking-Framework unter Open-Source-Lizenz
Google stellt sein Framework ReFr zum Trainieren und Benutzen von Reranking-Modellen unter eine Open-Source-Lizenz. Das Projekt soll es ermöglichen, Bewertungsmodelle um Zusatzinformationen zu ergänzen und so genauere Ergebnisse zu erzielen.
- Julia Schmidt
Googles Open-Source-Abteilung hat ein Framework zum Festlegen, Trainieren und Nutzen von Neubewertungsmodellen freigegeben. ReFr (kurz für Reranker Framework) soll durch Bewertungsmodelle erstellte Hypothesen testen und eventuell in Betracht kommende Alternativen prüfen, die eine genauere Zuordnung des zu lösenden Klassifizierungsproblems zulassen.
Ein Anwendungsbeispiel, in dem ein solcher Reranker von Nutzen ist, wäre ein automatischer Übersetzungsdienst, welcher einen Satz aus einer Sprache in eine andere übertragen soll. Hierzu sind Segmente des Satzes zu analysieren und einer möglichen Entsprechung in der jeweils anderen Sprache zuzuführen. Am Ende wird eine Art Liste mit möglichen Entsprechungen in Reihenfolge ihrer Wahrscheinlichkeit angefertigt. Meist wird die wahrscheinlichste dieser Hypothesen als Lösung gewählt. In diesem Schritt kann eine Neubewertung der Ergebnisse nützlich sein, indem ein anderes, vorher trainiertes Bewertungsmodell auf den Datensatz angewendet wird. Auf diese Weise besteht die Möglichkeit zusätzliche, im ursprünglichen Bewertungsmodell nicht enthaltenen, Informationen in die Bewertung zu integrieren und das Ergebnis im besten Fall zu verbessern.
Der Kern der ReFr Implementierung ist in C++ verfasst. Durch die Benutzung der Map-Reduce-Implementierung Hadoop soll das Projekt in der Trainigsphase besonders schnell auch mit großen Datenmengen fertig werden. Der Code lässt sich aus Googles Git-Repository extrahieren. (jul)
