Neuronale Suche in Texten

Statt Urlaubsantrag steht im Formular Antrag auf Urlaub und schon stoßen Information-Retrieval-Systeme auf Probleme. Auf Sprachmodellen basierende Systeme verstehen hingegen semantische Unterschiede. Eines davon ist Dense Passage Retrieval.

Von Clemens Gutknecht, Leon Lukas und Leon Marius Schröder

iX-tract

Systeme zum Durchsuchen von Dokumentensammlungen basieren häufig auf dem statistischen Maß TF-IDF, mit dem sich jedoch keine semantischen Verbindungen in Dokumenten finden lassen. Die Lösung: neuronale Suchmaschinen.
Dense Passage Retrieval (DPR), basierend auf Sprachmodellen, kann semantische Zusammenhänge durch Vektor-Embeddings abbilden und sucht ebenfalls in Form von Embeddings.
Dank der verfügbaren Sprachmodelle im Hugging-Face-Transformers-Paket und Frage-und-Antwort-Datensätzen wie GermanDPR und GermanQuAD lassen sich einfache neuronale DPR-Modelle schnell in PyTorch umsetzen.
Um ein allgemeines neuronales DPR-Modell auf das eigene Fachvokabular zu spezialisieren, erstellt etwa das Haystack Annotation Tool domänenspezifische Frage-und-Antwort-Datensätze zum Trainieren des Modells.

Wer mehr über neuronale Suche erfahren will, muss aktuell einige fragmentierte Quellen und wissenschaftliche Papers in englischer Sprache wälzen. Dieser Artikel soll das zusammenführen und einen Einstieg in Dense Passage Retrieval (DPR) geben, ein solches neuronales Suchverfahren, das Dokumentensammlungen nach passenden Dokumenten durchsucht. Grundlegende Technik wie Tokenization, die Transformer-Architektur und Attention-Mechanismen beschreibt dieser Artikel nicht – diese Informationen sind im Internet aber leicht auffindbar (siehe ix.de/z272).

Zusätzlich zu diesem Artikel zeigt ein Repository auf GitHub, wie sich diese Mathematik in Python-Code implementieren lässt (siehe ix.de/z272). Ein Folgeartikel im iX Special 2023 „Künstliche Intelligenz“, das Mitte Juni erscheint, zeigt, wie man mit dem resultierenden Modell in Kombination mit dem Framework Haystack Annotation Tool ein produktionstaugliches neuronales Suchsystem aufbaut. Zusätzlich wird dann ein Datensatz veröffentlicht, der zusammen mit der Landeshauptstadt München entwickelt wurde.