Seite 2: Open WebUI

Inhaltsverzeichnis

Open WebUI ist eine dieser GenAI-Webanwendungen und wird oft zusammen mit Ollama eingesetzt. Der ursprüngliche Name war Ollama WebUI und die Anwendung stammt von der gleichen Entwicklergruppe wie das CLI-Werkzeug. Es verspricht eine intuitive Weboberfläche, die sämtliche Funktionen von Ollama zugänglich macht – von der Modellverwaltung bis hin zu komplexen Prompt-Engineering-Sessions. Open WebUI kommt mit einem eingebauten Ollama daher, alternativ nutzt es ein schon vorhandenes – entweder auf dem gleichen System oder auf einem anderen Server.

Darüber hinaus kann es aber noch viel mehr, nämlich Retrieval Augmented Generation mit hochgeladenen Dokumenten direkt in der Weboberfläche, Echtzeitsuche im Web, Text-to-Speech und Speech-to-Text. Es ist durch Plug-ins und Pipelines nahezu beliebig erweiterbar und auf verschiedene Anwendungszwecke im Unternehmen anpassbar. Die in Python geschriebenen Plug-ins heißen in Open WebUI Functions. Auf der Website des Projekts findet sich eine umfangreiche Sammlung.

Doch die Oberfläche selbst und auch die verfügbare Dokumentation geizen oft mit Hilfestellungen beim Einrichten dieser Erweiterungen. Bugs sind häufig und oft schwer zu finden. Für komplexere Aufgaben wie das Einrichten von Pipelines ist es deshalb dringend anzuraten, viel Zeit für das Studium der Quelltexte von funktionierenden Beispielen einzuplanen.

Wenig intuitiv kann sich auch die Installation selbst gestalten. Laut Dokumentation geht es über Docker am einfachsten, doch auch da lauern Fallstricke. Wer GPUs nutzen will, braucht das Paket nvidia-container-toolkit und sollte es am besten installieren, bevor Docker selbst auf die Platte kommt. Sonst kann es passieren, dass Docker die Option gpus=all nicht interpretieren kann, die es braucht, damit auch das containerisierte Programm die GPUs nutzt. Leider ist das auch nötig, wenn Open WebUI mit einer Ollama-Instanz kommuniziert, die ohnehin GPUs nutzt. Eine Installation mit pip ist ebenfalls möglich und unter Umständen der einfachere Weg.

Praktisch ist Open WebUI, da mehrere Nutzer es im lokalen Netz verwenden können, eine entsprechende Nutzerverwaltung bringt das System bereits mit. Nutzerauthentisierung über OAuth2 und Trusted Header ist möglich, Gruppen erlauben feingranulare Rechtevergabe. Außer Sprachmodellen über Ollama lassen sich auch Modelle zur Bildgenerierung mit Automatic1111 einbinden. Dieses Feature ist aber noch als experimentell gekennzeichnet.