Eigene Chatbots mit Retrieval Augmented Generation erstellen
Will man einen KI-Chatbot mit der internen Dokumentensammlung nutzen, ist RAG Stand der Technik. Ein einfacher Prototyp lässt sich mit ein wenig Code erstellen.
- Ronny Frankenstein
- Kai Konitzer
Das Feintunen von Modellen mit der eigenen Dokumentensammlung erfordert eine ausreichende Menge Daten und dazu noch gehörig Rechenzeit.
Als Alternative bietet sich die Kombination aus Retrieval Augmented Generation und einer Vektordatenbank an. Damit spart man sich nicht nur das zusätzliche Training, sondern kann damit außerdem die Antworten der KI verbessern und Halluzinationen vermeiden. Das Ganze funktioniert bereits mit einzelnen oder wenigen Dokumenten.
Dieser Artikel beschreibt die praktische Umsetzung eines Prototyps mit Python samt einer Web-App in React. Der Prototyp beantwortet Fragen zu internen Dokumenten, den passenden Kontext dafĂĽr liefert das Sprachmodell GPT-4 in Kombination mit Retrieval Augmented Generation (RAG).
Das war die Leseprobe unseres heise-Plus-Artikels "Eigene Chatbots mit Retrieval Augmented Generation erstellen". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Python: Mit Minecraft spielerisch programmieren lernen
AMD Ryzen 9 9950X3D im Test: 16-Kern-CPU fĂĽr Gamer und Kreativanwender
iPhone 16e im Test
Mac mini mit SSD-Modul auf 2 TByte aufrĂĽsten
Eigene Streamingplattform: Automatisierte Piraterie auf Heimservern