Msty vorgestellt: Große lokale LLMs komfortabel nutzen
Wer Sprachmodelle lokal ausführen will, findet in Msty ein Frontend, das Benutzerfreundlichkeit, Sicherheit und flexible Vergleichsmöglichkeiten kombiniert.
- Martin Binder
Wer im professionellen Umfeld Vertraulichkeit und Datenschutzrichtlinien beachten muss, darf sensible Daten nicht über Anfragen an große Sprachmodelle in der Cloud wie ChatGPT, Copilot oder Gemini herausgeben. Abhilfe schaffen lokale Modelle, die aber wegen eingeschränkter Ressourcen eines lokalen Rechners nicht das gesamte Leistungsspektrum der Online-Flaggschiff-LLMs abbilden. Je nach Verwendungszweck liefern die lokalen LLMs unterschiedlich gute Ergebnisse und es gilt, durch Tests herauszufinden, welches das optimale Modell ist.
Das Tool Msty hilft beim Ausprobieren: Es ermöglicht die komfortable lokale Nutzung von LLMs zusammen mit umfassenden Vergleichsmöglichkeiten beim Prompting. Einsatzbereite Modelle stehen online in einem Repository zur Verfügung, Msty lädt sie herunter und führt sie anschließend lokal aus.
Die App ist als kostenlose Version sowie als Aurum-Variante mit zusätzlichen Features und kommerzieller Lizenz erhältlich.
Das war die Leseprobe unseres heise-Plus-Artikels "Msty vorgestellt: Große lokale LLMs komfortabel nutzen". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
