Natural Language Processing mit Keras und Transformers

DAS LERNEN SIE

• Teil 1: Text-Klassifikation mit Faltungsnetzen (CNN)

  Wir starten in das Thema NLP mit dem Problem, Texte in vorgegebene Kategorien zu klassifizieren, und schaffen in Theorie und Praxis eine gemeinsame Ausgangsbasis für den Tag. Dabei behandeln wir folgende Themen:

  • Wie füttert man ein neuronales Netz mit Text?
  • Wie werden aus Wörtern Vektoren (Stichwort Word Bmbeddings)?
  • Wie arbeiten Faltungsnetze (CNN) und rekurrente Netze (RNN)?
  • Wie bauen wir ein Netz mit Keras?
  • Praxis-Teil: Text-Klassifikation mit Keras (Vorverarbeitung, Training, Auswertung und Tuning)

• Teil 2: Extraktion von Informationen aus Text mit spaCy

  Im zweiten Schritt katapultieren wir uns von den Grundlagen zum State-of-the-Art mit der NLP-Bibliothek spaCy. Diese ermöglicht die Lösung vielfältiger NLP-Probleme in zahlreichen Sprachen mit neuesten Modelle, und dass oft ganz einfach mit wenigen Kommandozeilen-Befehlen.

  Nach einem kurzen Streifzug durch spaCy wagen wir uns an die Extraktion von Informationen aus Text mit Named Entity Recognition (NER). Mit nur vier Befehlen auf Kommandozeile trainieren wir ein spaCy-Modell darauf, in juristischen Texten alle Verweise auf Literatur, Gesetze und Urteile zu erkennen.

• Teil 3: State-of-the-Art NLP mit Huggingface Transformers

  Zum krönenden Abschluss des Webinars behandeln wir die wichtigsten Ideen von State-of-the-Art-NLP und lernen, wie man mit der Bibliothek Huggingface-Transformers die neuesten Transformer-Modelle auf eigene NLP-Aufgaben "abrichten" kann:

  • Was sind Transformer (GPT-2, BERT, GPT-3)?
  • Was sind Sprachmodelle (language models) und wie revolutionierten Transformer-Sprachmodelle NLP?
  • Wie verhindert man out-of-vocabulary-Probleme mit subword-Tokenisierung?
  • Praxis-Teil: NER mit huggingface transformers und einem feinjustierten BERT-Transformer

• Teil 4: Fragen und Antworten

  Im letzten Teil sammeln wir Fragen, die im Verlauf des Webinars aufgetreten sind und versuchen diese möglichst gleich zu beantworten. Auch eigene Projektideen sind sehr willkommen und können dann gleich diskutiert werden.