Eigene Chatbots mit Retrieval Augmented Generation erstellen
Will man einen KI-Chatbot mit der internen Dokumentensammlung nutzen, ist RAG Stand der Technik. Ein einfacher Prototyp lässt sich mit ein wenig Code erstellen.
- Ronny Frankenstein
- Kai Konitzer
Das Feintunen von Modellen mit der eigenen Dokumentensammlung erfordert eine ausreichende Menge Daten und dazu noch gehörig Rechenzeit.
Als Alternative bietet sich die Kombination aus Retrieval Augmented Generation und einer Vektordatenbank an. Damit spart man sich nicht nur das zusätzliche Training, sondern kann damit außerdem die Antworten der KI verbessern und Halluzinationen vermeiden. Das Ganze funktioniert bereits mit einzelnen oder wenigen Dokumenten.
Dieser Artikel beschreibt die praktische Umsetzung eines Prototyps mit Python samt einer Web-App in React. Der Prototyp beantwortet Fragen zu internen Dokumenten, den passenden Kontext dafür liefert das Sprachmodell GPT-4 in Kombination mit Retrieval Augmented Generation (RAG).
Das war die Leseprobe unseres heise-Plus-Artikels "Eigene Chatbots mit Retrieval Augmented Generation erstellen". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
BMW iX1 eDrive20 im Test: Management von Erwartungen
Fahrbericht Alfa Romeo Junior: Veloce bietet 207 kW
Wie Klimageräte funktionieren und was man über die Installation wissen sollte
Zweite Chance für Fire-TV-Sticks von Amazon
Zettelkastenmethode: Mit diesem Workflow organisieren Sie Ihre digitalen Notizen