FS-DFM: Neue Apple-KI-Modelle spucken lange Texte sehr schnell aus
Mittels "Few-Step Discrete Flow-Matching" will Apple beim Output großer Sprachmodelle den Turbo einschalten. Kooperationspartner ist eine US-Hochschule.
Große Sprachmodelle generieren Texte – was Apple jetzt nochmals beschleunigt haben will.
(Bild: Photo Kozyr/Shutterstock.com)
Apples KI-Forschungsabteilung hat einen neuen Ansatz für die Beschleunigung von Textgeneratoren vorgestellt. Mittels sogenannter Few-Step Discrete Flow-Matching Language Models, kurz FS-DFM, soll sich die Durchsatzrate ("faster sampling and corresponding latency/throughput gains") um das bis zu 128-fache steigern lassen, gemessen an der Ausgabe von 1024 Token. FS-DFM fasst dabei 1024 einzelne Schritte herkömmlicher Modelle in nur acht Schritten zusammen, erklären die Wissenschaftler.
Technik aus dem Bereich der Bildgenerierung
In dem Paper, das auf dem Preprint-Server arXiv publiziert wurde, heißt es weiter, dass FS-DFM lange Texte besonders genau erstellen soll. Dabei kommt die Diffusion-Technik zum Einsatz, ein Generierungsverfahren, das ursprünglich vor allem für die Bildgenerierung verwendet wurde, mittlerweile aber auch bei Large Language Models (LLMs) genutzt wird, weil dies Effizienzgewinne verspricht. Konkurrierende Systeme wie GPT-5 von OpenAI setzen hingegen auf die Transformer-Technik, die die sogenannte Autoregression nutzt.
Videos by heise
Diffusion-Modelle haben den grundlegenden Vorteil, dass sie mehrere Ausgabe-Tokens, also die einzelnen Bestandteile der Textausgabe, gleichzeitig generieren können. Anschließend werden sie weiter verfeinert, bis es zum Output an den Nutzer kommt. Flow-Matching-Modelle sollen das weiter beschleunigen, was Apple nun gelungen ist – wobei bestehende Verfahren überholt sein sollen.
GPT-basierte LLMs sind noch Mainstream
Ein Problem bleibt, dass die Auswahl an öffentlich verfügbaren Discrete-Flow-Matching-Modelle noch klein ist – die KI-Szene setzt bei Textgeneratoren weiterhin vor allem auf den GPT-basierten Ansatz. Apples Forscher wollen hier helfen, indem sie ihre eigene DFM- und FS-DFM-Modelle öffentlich bereitstellen. Details dazu finden sich im Paper.
Das Projekt entstand in Zusammenarbeit mit Forschern an der Ohio State University. Apples KI-Forschungsabteilung hatte zuvor auch schon in anderen Bereichen mit Flow-Matching-Modellen experimentiert, unter anderem für den Bereich der Programmierung und bei der Protein-Faltung. Der Konzern erhofft sich dadurch Durchbrüche auch für seine Produkte. Einen eigenen Chatbot bietet Apple nach wie vor nicht offiziell an.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(bsc)
