Small Language Models: Wo kleine KI-Modelle die großen schlagen
LLM-Ableger mit geringerer Parameterzahl sind sparsamer im Betrieb, haben aber auch klare Schwächen. Wofür taugen die kleinen Sprachmodelle wirklich?
(Bild: iX)
Dass größer nicht automatisch besser bedeutet, zeigt sich gerade im Bereich der KI. Denn wo die Large Language Models so mächtig wie ressourcenhungrig sind, können ihre kleineren Pendants als genügsame Spezialisten im lokalen Einsatz punkten. Christian Winkler, Titelautor der neuen iX 4/2025, erklärt im Interview, warum es nicht immer Parameter im zweistelligen Milliardenbereich sein müssen und was man davon realistisch erwarten kann.
Large Language Models sind in aller Munde, aber über ihre kleineren Varianten wird weniger gesprochen. Ab wann gilt ein Modell als Small Language Model (SLM) und für welche Einsatzfelder taugt es?
Der Übergang ist mehr oder weniger fließend. Manche Experten bezeichnen ein Modell mit sieben Milliarden Parametern bereits als klein, ich würde die Grenze eher bei vier Milliarden Parametern ziehen. SLMs eignen sich für unterschiedliche Anwendungszwecke, zum Beispiel zur Zusammenfassung von Texten oder als generativer Teil eines RAG-Modells. Weniger gut sind sie als Wissensbasis zu verwenden.
Wie sieht es konkret mit dem Hardware-Hunger der SLMs aus? Reicht der Consumer-Laptop, um damit lokal und offline einen Text- oder Codegenerator zu betreiben?
Sobald man ohne GPU arbeiten möchte, sollte man die Modelle quantisieren. Und bei SLMs kann damit ein Laptop Texte schneller generieren, als man sie lesen kann. Das reicht für die meisten Anwendungsfälle. Als Codegenerator funktioniert das besser mit mittelgroßen LLMs, weil hier auch die Speicherung von Wissen eine große Rolle spielt. Mit einer kleinen GPU oder einem Mac geht das aber auch dann ausreichend schnell zum Beispiel mit Qwen2.5-Coder-7B-Instruct, das nach der obigen Definition für einige noch zu SLMs gehört.
Die Tendenz, Falschinformationen zu erfinden, ist eine der großen Schwächen generativer KI. Wie schlagen sich SLMs bei dem Problem?
Bei den sogenannten Halluzinationen sind die kleinen Modelle im Nachteil. Durch die wenigen Parameter haben sie nicht so viel Wissen aggregiert. Man muss daher beim Prompting besonders vorsichtig sein und die Ergebnisse kontrollieren. Zur Zusammenfassung von Texten sind die Modelle daher besser geeignet. Man kann sie aber auch verwenden, um besonders kreative Ideen zu generieren – in diesem Fall sind die Halluzinationen sogar eher erwünscht.
Christian, vielen Dank für die Antworten! Einen Überblick über die Möglichkeiten und Grenzen kleiner Sprachmodelle gibt es in der neuen iX. Außerdem zeigen wir, welche Tools es für den lokalen KI-Betrieb gibt – und werfen einen Blick auf die kleinen Phi-Modelle von Microsoft. All das und viele weitere Themen finden Leser im April-Heft, das ab sofort im heise Shop oder am Kiosk erhältlich ist.
In der Serie "Drei Fragen und Antworten" will die iX die heutigen Herausforderungen der IT auf den Punkt bringen – egal ob es sich um den Blick des Anwenders vorm PC, die Sicht des Managers oder den Alltag eines Administrators handelt. Haben Sie Anregungen aus Ihrer tagtäglichen Praxis oder der Ihrer Nutzer? Wessen Tipps zu welchem Thema würden Sie gerne kurz und knackig lesen? Dann schreiben Sie uns gerne oder hinterlassen Sie einen Kommentar im Forum.
(axk)
