LlamaIndex: Mit Dokumenten und Datenbanken in natürlicher Sprache sprechen
Mit dem Python-Framework LlamaIndex lassen sich LLMs um eigene Daten erweitern. RAG ermöglicht es, mit Dokumenten und Datenbanken zu kommunizieren.
- Gerhard Völkl
Bei ChatGPT und ähnlichen Programmen besteht die Eingabe aus einfachem Text und als Ergebnis liefert die Software umfangreiche Berichte oder sogar Programmcode zurück. Wünschenswert wäre es, wenn das mit eigenen Dokumenten oder Datenbanken genauso einfach gehen würde. Umständliche Abfragen mit SQL oder komplizierte Suchen in Texten wären dann überflüssig.
Das freie Python-Framework LLamaIndex hat genau das im Blick: ChatGPT und andere Large Language Models (LLMs) möglichst einfach mit den eigenen Daten zu verbinden. Es bietet bereits fertige Vorgehensweisen, für die keine Vorkenntnisse erforderlich sind, aber auch Bausteine, aus denen man eigene Datenintegrationen entwickeln kann.
- LlamaIndex ist ein Framework, das private Daten in öffentliche integriert, die dann zum Trainieren großer Sprachmodelle (Large Language Models, LLM) verwendet werden.
- Die zugrunde liegende Vorgehensweise nennt man Retrieval Augmented Generation (RAG); sie bindet externe Datenquellen an ein bereits bestehendes LLM an.
- LlamaIndex integriert Daten, indem es sie als Vektoren einbettet und in einer Vektordatenbank speichert; Anwendungen können diese Daten nutzen, um komplexe Vorgänge mit geringer Latenz auszuführen.
Der Artikel konzentriert sich zum einen auf unstrukturierte Daten wie Texte und zum anderen auf strukturierte SQL-Datenbanken, da ein Großteil der Informationen der realen Welt in diesen Formaten gespeichert ist. Zum Verarbeiten großer Textmengen sind Vektordatenbanken eine performante Möglichkeit; sie lassen sich – falls notwendig – ebenfalls in LLamaIndex verwenden.
Das war die Leseprobe unseres heise-Plus-Artikels "LlamaIndex: Mit Dokumenten und Datenbanken in natürlicher Sprache sprechen". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Peugeot e-308 SW im Test: Der beste Antrieb, doch (fast) keiner kauft ihn
Test Suzuki Swift Hybrid: Der Preis ist ein starkes Argument
Windows XP auf dem iPad installieren: So wird das iPad zum Retro-PC
Kamera-Massenüberwachung mit und ohne KI: Was ist möglich und was ist erlaubt?
Im Test: Sechs Mini-PCs mit AMD- und Intel-Prozessoren