Effiziente KI durch Modelldestillation
Durch Modelldestillation sollen kleinere KI-Modelle die Fähigkeiten von größeren Modellen lernen. Der Prozess vereint Aufgaben von Engineering und Governance.
- Miloš Cigoj
Große KI-Modelle liefern beeindruckende Ergebnisse, sind jedoch kostspielig in der Ausführung, langsam beim Start und selbst auf GPU-Servern in mittelgroßen Rechenzentren schwer zu implementieren, von reinen CPU-Systemen oder Edge-Geräten ganz zu schweigen.
Die Modelldestillation soll Abhilfe schaffen: Ein kleineres Schülermodell soll die Fähigkeiten eines größeren Lehrermodells imitieren, sodass dessen Verhalten mit geringerem Rechen-, Speicher- und Energieaufwand beibehalten wird. Ein gut destillierter Schüler verbessert den Durchsatz pro Knoten und fängt Lastspitzen ab. Der Betrieb des Modells nah an den Daten, also on Premises, in einer Virtual Private Cloud oder auf einem Edge-Gerät, vermeidet Datentransfers, was die Kosten senkt, Governancerisiken reduziert und oft die Latenz verbessert. Außerdem vereinfacht es die Auditprotokollierung.
- KI-Destillation überträgt Fähigkeiten großer Modelle auf kleinere, um Kosten, Latenz und Speicherbedarf zu senken und Edge- sowie On-Prem-Einsatz zu ermöglichen.
- Es gibt drei Destillationsansätze: Whitebox bei vollem Modellzugriff, Greybox mit Open-Weight-Modellen und Blackbox nur über APIs und synthetische Daten.
- Subliminal Learning kann versteckte Verhaltensweisen vom Lehrer- auf das Schülermodell übertragen und erfordert Gegenmaßnahmen wie Modellvielfalt, vorsichtigen Einsatz von Chains of Thought und getrennte Datenpipelines.
- Datenherkunft, Akzeptanzkriterien, Monitoring und Reproduzierbarkeit müssen standardisiert dokumentiert und automatisiert geprüft werden, am besten mit einem Governance-as-Code-Ansatz.
In verschiedensten Geschäfts- und Technologieszenarien ist die Modelldestillation deshalb bereits weit verbreitet – etwa in der Fertigung, im Finanzsektor oder im Gesundheitswesen. Beispiele sind algorithmische Trading-Bots auf Basis von Alpaca-Modellen oder das Modell DistilBERT für Aufgaben wie Textklassifizierung oder Stimmungsanalyse.
Das war die Leseprobe unseres heise-Plus-Artikels "Effiziente KI durch Modelldestillation". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
