KI: Durchbruch beim Textverstehen

ELMo, BERT und vierhörnige Einhörner

Christoph Henkelmann

Die Fortschritte rund um künstliche Intelligenz reihen sich in den letzten Jahren aneinander. Vor allem im Bereich Textverstehen lohnt es sich, einen Blick auf die Durchbrüche der jüngsten Zeit zu werfen.

Beeindruckende Neuerungen brachte das vergangene Jahr hauptsächlich in Sachen Textverstehen. Das Verarbeiten natürlichsprachlicher Texte (Natural Language Processing, NLP) erreichte die nächste Stufe. Gleich zu Anfang dieses Jahres setzte sich die Entwicklung mit einem Textgenerierungsmodell von OpenAI fort. Aus ethischen Gründen entschieden sich die Entwickler allerdings, den Code nicht zu veröffentlichen. Beim Bildverstehen hingegen zeichneten sich die Fortschritte weniger durch verbesserte Fehlerraten als durch besseres Verständnis aus, wie aktuelle Systeme überhaupt funktionieren. Hier gab es spannende, erhellende und ernüchternde Resultate.

Der Trend zum Verständnis des „Wie“ war auch in anderen Bereichen zu beobachten: NVIDIAs Paper zur Generierung von Gesichtern liefert nicht nur hochwertige Ergebnisse, sondern erlaubt einen erstaunlichen Grad an Kontrolle über den Output. Das bringt etwas Licht ins Dunkel der Blackbox neuronaler Netze.

Das Auf und Ab neuronaler Netze

In den 50er- und 60er-Jahren des letzten Jahrhunderts malten sich die Menschen in unzähligen Science-Fiction-Filmen, -Comics und -Büchern die spektakulären technischen Möglichkeiten der Zukunft aus. Angesichts der damaligen Forschung ist das kaum verwunderlich. Obwohl die Computertechnik noch in den Kinderschuhen steckte, gelang es Marvin Minsky 1951, einen „Neurocomputer“ zu bauen. SNARC (Stochastic Neural Analog Reinforcement Computer) bestand ganz im Gegensatz zu seinen heutigen Kollegen aus 40 Röhrentransistoren und einem Wust aus Kabeln. Der Computer gilt als eines der ersten neuronalen Netze und konnte etwas, was bisher nur Lebewesen konnten: Er fand selbstständig den kürzesten Weg aus einem Labyrinth.

Entsprechend hoch fielen die Erwartungen an die Fortschritte in Sachen Machine Learning bis in die 1960er-Jahre aus. Als die Forschung nicht mehr mit ihnen mithalten konnte, wurden Gelder gestrichen und selbstlernende Systeme gerieten in den Hintergrund. Mit wachsender Rechenleistung setzen sich regelbasierte Expertensysteme durch, die auf große Datenmengen zugreifen, um Assoziationen zum Input herzustellen.

Erst mit dem Backpropagation-Algorithmus von unter anderen Geoffrey Hinton 1986 rückten die neuronalen Netze wieder ins Licht der Aufmerksamkeit. Ansätze dazu hatte es schon in den Jahren zuvor immer wieder gegeben, allerdings fanden diese nur wenig Beachtung. Backpropagation ebnete den Weg für moderne DNN (Deep Neural Networks). Sie verfügen über mehrere Schichten und lassen sich nicht nur in eine Richtung trainieren, sondern auch „rückwärts“.

Danach setzte der zweite sogenannte KI-Winter ein und es wurde erneut still um neuronale Netze. Erst seit ein paar Jahren und durch ihren Einsatz in beispielsweise Googles Bildersuche oder Google Translate stehen sie wieder im Mittelpunkt und sind aus vielen KI-Projekten kaum mehr wegzudenken.

Die meisten Veröffentlichungen folgen der anhaltenden Tendenz zu immer größeren Modellen und damit immer mehr Hardware zum Training und größerem Datenhunger. Entwickler warten sehnsüchtig auf Alternativen zur teuren Hardware von Platzhirsch NVIDIA oder den ebenfalls nicht immer günstigen Cloud-TPUs von Google. Viele Start-ups hatten Spezialhardware angekündigt, doch die ließ meist noch auf sich warten. Trotzdem sind die ersten Warnschüsse auf NVIDIA und Google in Form von Inferenzhardware zum „Abspielen“ statt zum Lernen von Modellen bereits gefallen.

Weniger Daten, mehr Verstehen

Beim Natural Language Processing (NLP) geht es darum, einem Computer beizubringen, Informationen aus natürlichem Text zu extrahieren. Dies ist nicht zu verwechseln mit Speech Recognition (Sprachverstehen). Hier besteht die Aufgabe darin, gesprochene Sprache in Text zu verwandeln.

In Sachen Textverstehen heißen die aktuellen Themen Unsupervised Learning, Pre-Training und Transfer Learning, wobei die drei Begriffe miteinander verwoben sind (siehe Kasten „Dreierlei Textverstehen“).

Dreierlei Textverstehen

Unsupervised Learning oder unüberwachtes Lernen bezeichnet Methoden, bei denen ein Machine-Learning-Verfahren auf Rohdaten ohne Label lernt. Es bekommt zu einem Input keine Information, was gelernt werden soll. Das hat den enormen Vorteil, dass die Daten, die zum Trainieren dienen, nicht erst von Menschen händisch bewertet oder annotiert werden müssen.
Von Pre-Training spricht man, wenn ein System trainiert wird, ohne dass ganz genau klar ist, welche Aufgabe es später erfüllen soll. Steht ein vortrainiertes System zur Verfügung, lässt sich ein konkretes Problem schneller lösen, da das System nicht bei null anfangen muss zu lernen.
Transfer Learning bedeutet, dass ein System, das für eine Aufgabe trainiert wurde, für eine andere Aufgabe angepasst wird.

Alle drei Paradigmen zusammen ermöglichen zum Beispiel, ein System unüberwacht auf dem Text der deutschen Wikipedia vorzutrainieren. Anschließend kann der Entwickler es per Transfer Learning für das Erkennen von Dokumenttypen anpassen. Das System übernimmt dann eine Klassifizierungsaufgabe. Bei Transfer Learning reicht eine vergleichsweise kleine Datenmenge, um das System auf konkrete Dokumenttypen einzustellen, da bestehende Fähigkeiten zum Einsatz kommen.

Während Menschen bei Transferleistungen enorm gut sind, ist das für KI ist ein signifikantes Problem. Sie ist selten dazu in der Lage, und Transferdenken ist wenn, dann nur eingeschränkt möglich, was die neuen Ergebnisse so besonders macht. Pre-Training erlaubt es erstmals, ein Modell zu trainieren, das sich per Transfer Learning anpassen lässt.

Läuft das Pre-Training unsupervised ab, braucht es keine annotierten Daten. Das mindert die Kosten bei der Datenbeschaffung und potenziell stehen viel mehr Daten zur Verfügung. Alle drei Paradigmen zusammen erlauben, ein allgemeines System zum Textverstehen vorzubereiten, ohne Daten mühsam zu annotieren. Im nächsten Schritt lässt es sich wesentlich schneller und mit weniger Datenaufwand auf ein konkretes Problem ausrichten. Bei Bildklassifizierern ist dies seit einigen Jahren üblich, was dafür gesorgt hat, dass der Aufwand für den Praxiseinsatz von Bilderkennung deutlich gesunken ist.

Der Kontext zählt

Auf dem Gebiet des Textverstehens brachte der ELMo-Algorithmus einen wichtigen Durchbruch. Er kombiniert existierende Technologien, um Wörtern Bedeutung abhängig vom Kontext, in dem sie zum Einsatz kommen, zuzuordnen. Ein neuronales Netz gewichtet das Wort „Bank“ zum Beispiel je nachdem, ob es zusammen mit „sitzen“ oder mit „Geld“ vorkommt. Besonders hierbei: ELMo kann diese differenzierte Gewichtung lernen, ohne dass ein Entwickler dies zuvor händisch in den Lerndaten annotieren musste, also unsupervised.

ULM-FiT hat diese Idee erweitert. Die unüberwacht gelernten Gewichtungen lassen sich für verschiedene Aufgaben anpassen. Dahinter steckt eine Technik zum Transfer Learning. Im Dezember 2018 veröffentlichte Google das wie ELMo ebenfalls Sesamstraßen-konform benannte BERT-System. Es gestattet unsupervised Pre-Training und Transfer Learning. Seitdem ist die Rede vom „NLP-Image-Net-Moment“, in Anlehnung an die massiven Durchbrüche beim Bilderkennen durch Convolutional Neural Networks im Jahr 2012. Die neuen Techniken lassen für die kommenden Jahre auf große Fortschritte im Bereich NLP hoffen.