Sprachmodelle lokal betreiben: Fünf Tools vorgestellt

Seite 5: AnythingLLM

Während die bisher besprochenen Applikationen entweder nur Desktop- oder nur Serveranwendungen waren, bietet AnythingLLM beides an: AnythingLLM Desktop als einzelne Applikation und AnythingLLM Docker als selbst gehostete Multiuser-Umgebung. AnythingLLM Cloud wiederum ist ein SaaS-Angebot, dessen Preise bei 50 Euro im Monat für maximal drei Nutzer beginnen.

Alle drei Varianten basieren auf Ollama und können mit einer internen Instanz oder einem Ollama-Server betrieben werden. Die selbst gehostete Version, auf der im Folgenden der Schwerpunkt liegt, ist für Arbeitsgruppen oder kleine Unternehmen interessant, hat also eine ähnliche Zielgruppe wie Open WebUI.

Per Drag and Drop lassen sich in AnythingLLM die Arbeitsbereiche mit Dokumenten für RAG ausstatten. Auch die Inhalte von GitHub-Repositorys kann es einbinden (Abb. 3)., — Per Drag and Drop lassen sich in AnythingLLM die Arbeitsbereiche mit Dokumenten für RAG ausstatten. Auch die Inhalte von GitHub-Repositorys kann es einbinden (Abb. 3).

AnythingLLM konzentriert sich passend zu seinem Namen auf Sprachmodelle und will kein universelles Tool für generative KI sein. Bild- oder Videogenerierung ist nicht möglich, allerdings soll es Diagramme erzeugen können, das hat aber bei ersten Tests weder mit einem lokalen Modell noch mit Sonar Pro von Anthropic funktioniert.

Installation mit Docker und Konfiguration sind vergleichsweise gut dokumentiert. AnythingLLM bringt eine eigene Ollama-Instanz mit, lässt sich aber auch an einen Ollama-Server im LAN anbinden. Auch die eingebaute Datenbank für die Embeddings kann man problemlos durch eine der vielen SaaS-Vektordatenbanken oder eine selbst betriebene ersetzen. Leider wird der Vector Store von PostgreSQL nicht unterstützt.

Das Nutzerinterface vermittelt einen aufgeräumten, sachlichen Eindruck. Die deutsche Übersetzung der Oberfläche ist insgesamt gelungen, jedoch noch unvollständig. Im Mittelpunkt des Bedienkonzeptes stehen die Arbeitsbereiche (Workspaces), auf die auch mehrere Nutzer gemeinsam Zugriff haben können. Dort kann man Dokumente für RAG ablegen, das zu verwendende Sprachmodell festlegen und weitere Einstellungen vornehmen. Praktisch ist, dass sich dort auch der Zugriff auf externe Datenquellen wie GitHub- und GitLab-Repositorys oder Websites konfigurieren lässt. Auf deren Inhalte greift das Sprachmodell jedoch nicht in Echtzeit zu, sondern AnythingLLM lädt sie herunter und erzeugt daraus Embeddings.

Dennoch überzeugt das Workspace-Konzept vor allem für die Arbeit mit Daten aus vielerlei Quellen in kleinen, projektbezogenen Teams. Denn AnythingLLM besitzt zwar keine ausgefeilte Nutzer- und Rechteverwaltung, aber Workspaces für Arbeitsgruppen erlauben dennoch die Kontrolle darüber, wer welche Daten welchem KI-Modell zur Verfügung stellen darf. Im Workspace für den Kundenservice könnten dann zum Beispiel nur bestimmte Mitarbeiter mit einem festgelegten lokalen Modell auf die Kundendatenbank zugreifen. OpenAI und andere wären verboten.

AnythingLLM implementiert Agenten für die Suche im Web, in SQL-Datenbanken oder das Scraping von Webseiten. Diese lassen sich einfach mit @agent am Chat-Prompt aufrufen. Was sie dürfen, ist wiederum pro Workspace konfigurierbar. Mit einem eingebauten No-Code-Werkzeug, dem Flow Builder, können Nutzer Agenten für spezielle wiederkehrende Aufgaben selbst entwerfen.

AnythingLLM ist intuitiver bedienbar als Open WebUI, sowohl für Administratoren als auch für reine Benutzer. Es fehlt jedoch das große Ökosystem an Erweiterungen, das OpenWebUI zu bieten hat.