Retrieval Augmented Generation für eigene Chatbots
Will man einen KI-Chatbot mit der internen Dokumentensammlung nutzen, ist Retrieval Augmented Generation Stand der Technik. Ein einfacher Prototyp lässt sich mit wenigen Zeilen Code erstellen.
Das Feintunen von Modellen mit der eigenen Dokumentensammlung erfordert eine ausreichende Menge Daten und dazu noch gehörig Rechenzeit. Als Alternative bietet sich die Kombination aus Retrieval Augmented Generation und einer Vektordatenbank an. Damit spart man sich nicht nur das zusätzliche Training, sondern kann außerdem die Antworten der KI verbessern und Halluzinationen vermeiden. Das Ganze funktioniert bereits mit einzelnen oder wenigen Dokumenten.
Dieser Artikel beschreibt die praktische Umsetzung eines Prototyps mit Python samt einer Web-App in React. Der Prototyp beantwortet Fragen zu internen Dokumenten, den passenden Kontext dafür liefert das Sprachmodell GPT-4 in Kombination mit Retrieval Augmented Generation (RAG). Die Grundlagen von RAG sind in iX 5/2024 auf Seite 116 beschrieben [1]. Das Skript zum Artikel findet sich unter ix.de/ztk3.