Wer, wie, was: Textanalyse über Natural Language Processing mit BERT
Seite 4: Rück- und Ausblick
BERT ist durchaus eine kleine Revolution im Bereich des NLP. Dank Transfer Learning lassen sich mit zumindest überschaubarem Aufwand umfangreiche Sprachmodelle erstellen, die inhaltliche Zusammenhänge in beliebigen Texten sinnvoll erfassen können.
Die Codebeispiele waren bisher auf vorberechnete BERT-Modelle begrenzt. Für weitere Anwendungszwecke existieren spezielle Varianten wie SciBERT und MedBERT. Sie erfordern jedoch abhängig von der Domäne weitere Anpassungen, damit BERT zum Fachexperten werden kann. Zu den Themen hat heise Developer einen weiteren Artikel in Planung, der im Herbst erscheinen soll.
Christian Winkler
ist Data Scientist und Machine Learning Architect. Er promovierte in theoretischer Physik und arbeitet seit 20 Jahren im Bereich großer Datenmengen und Künstliche Intelligenz, insbesondere mit Fokus auf skalierbaren Systemen und intelligenten Algorithmen zur Massentextverarbeitung. Er ist Gründer der datanizing GmbH, Referent auf Konferenzen und Autor von Artikeln zu Machine Learning und Text Analytics.
(rme)
