Seite 3: Deep Learning

Inhaltsverzeichnis

Deep Learning – mächtig und flexibel

Deep Learning ist ein Spezialgebiet des maschinellen Lernens und der künstlichen Intelligenz. Bei diesem Ansatz werden weniger feste Regeln genutzt, sondern die Suchalgorithmen dynamisch weiterentwickelt. Dazu kommen statistische Verfahren zum Einsatz, um Entitäten zu erkennen und zu klassifizieren. Ausgangspunkt für das maschinelle Lernen ist dabei stets ein Text mit annotierten, klassifizierten Entitäten – sozusagen ein Blueprint der Regeln. Die Software entwickelt aus dem Text die zugrunde liegenden grammatikalischen und kontextuellen Regeln und wendet diese auf andere, nicht annotierte Texte an.

Klassische Techniken, die dabei zur Anwendung kommen, sind Hidden Markov Model, Support Vector Machines oder Condition Random Fields. Das Hidden Markov Model findet zum Beispiel Anwendung in der Spracherkennung, wo Laute bestimmten Buchstaben, Silben oder Worten zugeordnet werden. Die Grundüberlegung bei diesem Modell ist, dass sich ein unbekanntes System (zum Beispiel ein Schwall aus gesprochenen Worten) durch seine spezifischen Emissionen (der Laut bei der Sprache) entschlüsseln lässt. Aus den hörbaren Emissionen wird das dahinter verborgene System der Sprache mit seinen eigenen Regeln und Strukturen sichtbar gemacht.

Deep Learning ermöglicht ein automatisiertes, selbstständiges Lernen einer Software von Zusammenhängen, Positionen und Bedeutungen einzelner Entitäten innerhalb mehrerer Texte. Dabei errechnet man aus der textuellen Eingabe zunächst einfache Features, die in den Ebenen des neuronalen Netzwerks immer weiter abstrahiert werden. Auch beim Deep Learning müssen vorab die zu extrahierenden Informationen definiert werden und ein möglichst großer, heterogener Datensatz für das Training des Systems vorliegen. Jedoch braucht es keinen separaten Linguisten. Der Domänenbetreiber selbst kann das Training überwachen. Aufgrund des hohen Automatisierungsgrades lässt sich bei Deep Learning bereits nach einer Woche mit ersten Ergebnissen rechnen.

Das erlaubt Unternehmen eine weitaus größere Flexibilität bei der Modell- und Regelanpassung. Während bei der regelbasierten NLP mindestens ein Linguist für die Ausarbeitung und Anpassung der Modelle notwendig ist, übernimmt das beim Deep Learning die Software selbst. So ist auch eine Übertragung des Modells auf andere Domänen (zum Beispiel einen Käseshop oder Baumarkt) viel einfacher und kostengünstiger.

Durch komplexere Modelle, günstige Rechenleistung und zunehmend größere Datenmengen als Input für die Trainingszyklen ist Deep Learning deshalb in den letzten Jahren im Bereich der NER immer relevanter geworden.

Vorteile:

• immense Einsparung von Ressourcen durch eigenständiges Lernen: Deep-Learning-Techniken finden selbstständig die statistischen Features, die für die Modellierung beziehungsweise Regelerstellung bei der Extraktion passend sind. Ein Linguist oder Experte für maschinelles Lernen ist nicht notwendig.
• hohe Robustheit gegenüber falscher Grammatik oder Orthographie: Regelbasierte Ansätze nutzen die Erkennung atomarer Satzbestandteile, die Phrasen. Das ist oftmals nur mit hohem Aufwand möglich, und gerade bei grammatikalisch schlechten Sätzen, wie im Social Web, ist die Fehlerrate hoch. Deep Learning erkennt fehlerhafte Sprache implizit.
• Adaptierbarkeit durch schichtenweise Strukturierung: Je nach Notwendigkeit lassen sich neue Funktionen hinzufügen. Für NLP bedeutet das, dass zum Beispiel sukzessive die Phrasen (Verb, Adjektiv ...), dann die Wortklasse (Person, Produkt, Ort ...), später die Wortbedeutung (Jaguar als Tier und Jaguar als Auto) und schließlich die Bedeutung eines Dokuments erschlossen werden können.
  
• hohe Kundenorientierung durch einfache Anpassung und Erweiterung: Kunden können nach Bedarf Erweiterungen (zum Beispiel neue Entitäten) hinzufügen und dem System antrainieren. Zudem ist die Übertragung auf neue Domänen unproblematisch.

Nachteil:

• große Datenmengen für Generierung der Sprachmodelle notwendig

Aktuelle Software, die diesen Ansatz verfolgen:

• MINER von Ontos: einer der wenigen europäischen Anbieter für Deep-Learning-Technologien für NER
• AlchemyAPI: Produkt von IBM mit sehr vielen Funktionen
• Google, Facebook, Microsoft et cetera: nutzen Deep Learning für verschiedenste NLP-Aufgaben, haben jedoch lange Zeit kaum nutzbare APIs für die allgemeine Anwendung angeboten. Erst seit kurzem werden entsprechende Dienste auf den jeweiligen Cloud-Plattformen angeboten oder Teile der Frameworks (z. B. SyntaxNet von Google) zugänglich gemacht.