Machine Learning: Mixture of Experts-Strategie erklärt

Inhaltsverzeichnis

Sprachmodelle wie ChatGPT, Llama oder Mistral kennen Antworten auf viele Fragen und formulieren gekonnt. Das ist allerdings teuer erkauft. Das Training ist äußerst aufwendig, und auch bei jeder einzelnen Nutzeranfrage fällt Rechenaufwand an, der nicht zu vernachlässigen ist. Der Ansatz Mixture of Experts versucht an diesen beiden Schrauben zu drehen und setzt auf verteiltes Wissen von mehreren Expertenmodellen, die sich in bestimmten Themen besser auskennen als andere Herangehensweisen, die ein monolithisches Modell als Universalgelehrten verwenden.

Die Grundaufgabe generativer Sprachmodelle besteht darin, zu einem vorhandenen Text eine Wahrscheinlichkeitsaussage für das jeweils nächste Wort zu treffen. Entscheidend ist dabei der Kontext des Textes, also die bereits bekannten Wörter. Ein längerer Kontext führt zu einem tieferen Verständnis und zu einer exakteren Vorhersage des nächsten Worts. Unterschiedliche Sprachmodelle unterscheiden sich im Umfang ihres Kontextes.

iX-tract

• Bei klassischen Transformermodellen steigt der Trainingsaufwand quadratisch mit der Kontextlänge. Das Verarbeiten und Erstellen längerer Abschnitte benötigt auch mehr RAM in der GPU.
• Soll so ein Sprachmodell Fragen aus verschiedenen Wissensdomänen beantworten können, muss es auf vielen Texten trainiert sein, die es allerdings bei jeder Anfrage durchläuft.
• Die Mixture-of-Experts-Architektur (MoE) setzt auf Expertenmodelle für verschiedene Wissensdomänen. Ein Routermodell entscheidet, welche Teile des neuronalen Netzes Nutzeranfragen verarbeiten.
• Sparse-MoE-Modelle lassen sich schneller trainieren als dichte Modelle und eignen sich besonders, wenn kurze Antwortzeiten erforderlich sind.

Mehr zum Thema KI-Sprachmodelle:

• KI: Mixture of Experts-Strategie zur schnelleren Anfragebearbeitung
• Eigene Coding-Assistenten trainieren und nutzen
• Feintuning großer Sprachmodelle – so gehts
• Linguistik: Wie KI seltene Sprachen retten soll
• LaMDA und die Technik dahinter: Wie viele Parameter braucht's fürs Bewusstsein?
• KI und Bewusstsein: Vor welchen Dingen hast du Angst, LaMDA?
• KI: Fake News aus der Zwietracht-Maschine
• KI: Sachlich korrekte Texte mit neuronalen Sprachmodellen generieren
• Schreibblockade überwinden: Wie eine KI Ihre Texte vervollständigt
• Kommentar: Wes Geistes KI? Große Sprachmodelle und das Machtgefüge dahinter

Prof. Christian Winkler

ist Data Scientist und Machine Learning Architect. Er promovierte in theoretischer Physik und arbeitet seit 20 Jahren im Bereich großer Datenmengen und Künstliche Intelligenz, insbesondere mit Fokus auf skalierbaren Systemen und intelligenten Algorithmen zur Massentextverarbeitung. Als Professor an der TH Nürnberg konzentriert sich seine Forschung auf die Optimierung von User Experience mithilfe moderner Verfahren. Er ist Gründer der datanizing GmbH, Referent auf Konferenzen und Autor von Artikeln zu Machine Learning und Text Analytics.

Eine Vergrößerung des Kontextes muss man sich teuer erkaufen. So steigt der Trainingsaufwand quadratisch mit der Kontextlänge, aber auch der Aufwand bei der Vorhersage von Wörtern hängt davon ab. Erschwerend kommt hinzu, dass längere Kontexte auch mehr RAM in der GPU erfordern. Daher versucht man, eine optimale Balance zwischen nötiger und hinreichender Kontextlänge zu finden. Modelle, die Texte fortsetzen können, werden als Foundation Models bezeichnet.

Das war die Leseprobe unseres heise-Plus-Artikels "Machine Learning: Mixture of Experts-Strategie erklärt". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.