Ohne Cloud: Die eigene Sprach-KI lokal betreiben
LLaMA, Alpaca, Vicuna: In Netz finden sich haufenweise mittelgroße Sprachmodelle mitsamt allen Parametern. Die laufen auch auf dem eigenen Rechner.
(Bild: Moritz Reichartz)
Nimm mir Arbeit ab, KI: "Formuliere mir eine freundliche Mail an den Support mit einer Nachfrage, wo mein Paket mit Gleitcreme abgeblieben ist." – Manche Aufgaben an KI-Sprachmodelle will man nicht so gern an einen Clouddienst schicken. Firmen können sogar rechtliche Probleme bekommen, wenn sie Text mit personenbezogenen Daten außerhalb der EU von KI lesen lassen. Deswegen muss man aber nicht auf Sprach-KI verzichten. Open-Source-Modelle, also neuronale Netze, deren Parameter öffentlich verfügbar sind, laufen auch ganz ohne Cloud auf der eigenen Hardware.
Die Qualität der Antworten kommt dabei durchaus an die des Sprachmodells GPT-3.5 des kostenlosen ChatGPT heran. Zusätzlich bieten die freien Modelle viel mehr Möglichkeiten, weil es Dutzende auf verschiedene Datensätze feingetunte, also nachtrainierte Varianten gibt und weil man volle Kontrolle über den Prompt hat. Mit einem eigenen Prompt kann man einem KI-Chatpartner ruck, zuck zynische oder lustige Antworten entlocken, verschiedene Sprachstile vorgeben oder Kontextinformationen vor dem Chat mitgeben.
Wir geben Ihnen eine kleine Tour durch den Wald an frei verfügbaren Sprachmodellen und erklären die Installation von llama.cpp, einem Programm für die Kommandozeile, mit der sie sich einfach nutzen lassen.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Linux-Umstieg: Sicher durch die Linux-Installation
Gehälter 2024: Das verdienen Admins in Deutschland
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Dynamische Strompreise nutzen: Ein Erfahrungsbericht mit Tibber
Deutsche Hersteller bereiten sich auf Kernfusionstechnik vor
LibreOffice Writer: Mit Formatvorlagen den Schreiballtag vereinfachen
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Linux-Umstieg: Sicher durch die Linux-Installation
Gehälter 2024: Das verdienen Admins in Deutschland
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Dynamische Strompreise nutzen: Ein Erfahrungsbericht mit Tibber
Deutsche Hersteller bereiten sich auf Kernfusionstechnik vor