Maschinelle Übersetzer: DeepL macht Google Translate Konkurrenz

Das Startup DeepL (ehemals Linguee) ist am Montag mit seinem maschinellen Übersetzer online gegangen. Die kostenlose Webseite übersetzt in Echtzeit sieben Sprachen und konkurriert damit mit Google Translate, das aber 103 Sprachen beherrscht.

Linguee bot bisher eine Suchmaschine für Übersetzungen an, mit der die jetzt umbenannte Firma die nötigen Trainingsdaten für ihren Übersetzungsdienst gesammelt hat. In einem Blindtest sollen Nutzer die Übersetzungen von DeepL drei Mal häufiger als beste Übersetzung gewählt haben als die der Konkurrenz von Google, Microsoft und Facebook. Im direkten Vergleich produziert der neue Übersetzer tatsächlich Übersetzungen auf gleichem Niveau - er macht aber auch ähnliche Fehler.

Convolutional Network statt RNN

Im Gegensatz zu Google Translate setzt DeepL nicht auf rekurrente neuronale Netze. Stattdessen kommen Convolutional Networks zum Einsatz, wie sie bei der Bilderkennung üblich sind. Der Vorteil davon: Convolutional Networks verarbeiten alle Wörter parallel und es gibt bereits hoch optimierte Bibliotheken für die Berechnung.

DeepL will die genaue Struktur seiner neuronalen Netze nicht offen legen, verwies aber auf Nachfrage von heise online auf ein Paper von Facebook und ein Paper von Googles Forschungsabteilung, die auch gute Ergebnisse beim maschinellen Übersetzen mit Convolutional Networks erzielt haben.

Bei natürlicher Sprache hängt die Bedeutung von Wörtern vom Kontext des Satzes ab, in dem sie genannt werden. Rekurrente neuronale Netze lesen den ganzen Satz von vorne nach hinten (und oft zusätzlich von hinten nach vorne) und speichern in ihrem Internen Zustand Informationen, um Wörter im richtigen Kontext zu übersetzen.

Die Convolutional Networks imitieren diese Struktur über Residual-Verbindungen und viele Schichten. Dabei entsteht eine sehr ähnliche Struktur, die sich nur darin unterscheidet, dass die Convolutional Networks eine feste Menge von Eingaben berücksichtigen, während rekurrente Netze theoretisch mit beliebig langen Eingaben rechnen können. In der Praxis fällt diese Beschränkung aber wohl nicht stark ins Gewicht; der Geschwindigkeitsvorteil durch die Möglichkeit einer parallelen Berechnung überwiegt.

Wirklich besser werden die Convolutional Networks aber erst durch einen Aufmerksamkeits-Mechanismus, der auf mehreren Ebenen gleichzeitig wirken kann. Google Translate nutzt auch einen Aufmerksamkeits-Mechanismus, allerdings nur an der Schnittstelle zwischen Encoder- und Decoder-Netzwerk, um sicherzustellen, dass sich die Bedeutung aller Wörter des Ursprungssatzes auch im übersetzten Satz findet. Einen solchen Mechanismus auf verschiedenen Ebenen gleichzeitig einzusetzen erlaubt den Netzwerken einzelne Aspekte der Wortbedeutung genauer zu extrahieren - zumindest folgern das die Forscher aus den besseren BLEU-Scores.

Beam-Search

Neuronale Netze erzeugen selten direkt eine bestimmte Ausgabe. Stattdessen berechnen sie üblicherweise eine Ausgabe in Format einer Wahrscheinlichkeitsverteilung über alle möglichen Ausgaben. Statt für jedes Wort des übersetzen Satzes immer das wahrscheinlichste nächste Wort zu wählen setzt DeepL einen Beam-Search-Algorithmus ein. Der Algorithmus multipliziert die Wahrscheinlichkeiten für alle möglichen Sätze, wählt aber in jedem Schritt nur eine kleine Gruppe wahrscheinlicher Sätze aus, die er um ein Wort verlängert. Das versetzt das System in die Lage auch mal ein leicht unwahrscheinlicheres Wort zu wählen, falls dadurch der gesamte Rest des Satzes besser passt.

Vermutlich enthält das von DeepL trainierte System keine völlig neue Technik. Die Kombination aus Convolutional Netzwork, Aufmerksamkeit und Beam Search entspricht aber dem Stand neuester Forschungsergebnisse. Damit dürfte DeepL zumindest bei der Effizienz einen Vorteil gegenüber der aktuell eingesetzten Version von Google Translate haben. Schade nur, dass DeepL sein System nicht so freigiebig erklärt wie die Konkurrenz. (pmk)