Privates Wissensarchiv: Anleitungen und Co. mit lokaler KI durchsuchen
Größere Dokumente nach Informationen zu durchforsten ist zeitraubend. Lokale KI kann den Job übernehmen. So füttern Sie sie mit digitalen Schriftstücken.
Wer seinen lokalen KIs ein Bündel Dokumente vorlegt, kann sie gezielt zu den Inhalten befragen.
(Bild: KI / heise medien)
Digitale Handbücher, Online-Banking-Dokumente, eigene Notizen und Wissenssammlungen: Auf unseren Festplatten horten wir eine Menge Dokumente. Doch zu einer konkreten Frage die richtige Datei und den passenden Inhalt zu finden, ist oft mühselig.
Lokale KIs können hier eine Stärke ausspielen: Wer einem lokalen LLM den eigenen Wissensschatz in vektorisierter Form zur Verfügung stellt, kann es als persönlichen Assistenten einsetzen. Die KI ermittelt zu einer konkreten Frage den passenden Inhalt aus Ihren Dokumenten und fasst ihn in leicht verdaulicher Form zusammen. Da die Datenbasis begrenzt ist, neigt sie dabei kaum zum Halluzinieren. Die Technik, die das ermöglicht, nennt sich Retrieval Augmented Generation (RAG). Dabei bleiben alle Daten auf dem eigenen Computer, anstatt auf irgendwelchen fremden Cloud-Servern zu landen.
- Lokale KI kann Nutzern schnell gezielt Antworten zum Inhalt verschiedener Dokumente liefern. Dazu nutzt sie das Verfahren Retrieval Augmented Generation (RAG).
- Der Artikel erklärt, wie Sie diese Funktion in Open WebUI gratis einrichten und mit einigen Tricks so konfigurieren, dass die KI zufriedenstellende Ergebnisse liefert. Fertig eingerichtet, wandelt zunächst eine Extraktions-Engine Dokumente wie PDFs in Markdown um, bevor ein geeignetes Embedding-Modell die Inhalte vektorisiert und speichert.
- Als Praxistest dient eine Wissenssammlung, in die wir drei PDF-Anleitungen hochladen. Ein LLM beantwortet anschließend je eine Frage zu einem Inhalt aus dem jeweiligen PDF.
Der Artikel erklärt, wie Sie einen solchen Wissensspeicher anlegen, dass die KI mit hoher Trefferquote zufriedenstellende Ergebnisse liefert. Dazu gehören einige Konfigurationstipps, die das Ergebnis optimieren. Als Test-Setup dienen insbesondere drei digitale Bedienungsanleitungen zu verschiedenen technischen Geräten, zu denen die KI nach der Einrichtung konkrete Fragen beantwortet hat. Den Workflow haben wir unter Windows 11 mit Docker und Open WebUI (v0.7.2) sowie Ollama erstellt. Zur Umsetzung empfiehlt sich ein System mit einer 16-GByte-Grafikkarte, vorzugsweise von Nvidia für zügige Verarbeitung. Für einen Teil des Workflows ist auch eine leistungsfähige CPU hilfreich. Als Testsystem haben wir einen privat genutzten Rechner mit dem Prozessor AMD Ryzen 7 9800X3D und einer Nvidia 3090 mit 24 GByte RAM verwendet.
Das war die Leseprobe unseres heise-Plus-Artikels "Privates Wissensarchiv: Anleitungen und Co. mit lokaler KI durchsuchen". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
