KI-Cluster: Vier Macs mit 2 TByte können Riesenmodell Kimi K2 Thinking ausführen

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Nachdem die kleine britische Firma Exo Labs vor einem Jahr demonstriert hatte, wie man aus mehreren Mac minis via Thunderbolt 5 ein durchaus kostengünstiges und gleichzeitig beeindruckendes KI-Cluster bauen (Video von c't 3003) kann, hat Apple nun Verbesserungen an macOS 26 alias Tahoe vorgenommen, die den Aufbau solcher Systeme erleichtert. In der Praxis heißt dies, dass auch (sehr) große lokale KI-Modelle über Apples hauseigene KI-Schnittstelle MLX sowie die Exo-Software ab macOS 26.2, das im Dezember erwartet wird, latenzarm auf kombinierte Hardware zugreifen können.

Kimi K2, denkend auf vier Mac Studios

In einer Demonstration, über die das IT-Blog Engadget berichtet, zeigte Apple ein TB-5-Netzwerk aus insgesamt vier Mac-Studio-M3-Ultra-Maschinen, die mit jeweils 512 GByte ausgestattet waren und Exo 1.0 von Exolabs zur Vernetzung einsetzten. Darüber war es möglich, das über ein Terabyte große Modell Kimi K2 Thinking von der chinesischen Firma Moonshot AI auszuführen. Es gilt als GPT-5 (fast) ebenbürtig, obwohl es lokal ausgeführt wird. Das Problem: Kaum jemand wird einen Rechner besitzen, der ausreichend RAM hat. Apple bietet via TB5 nun eine Möglichkeit, dies zumindest ordentlich budgetierten Forschern und professionellen Entwicklern zu ermöglichen.

Billig ist der Spaß selbstverständlich trotzdem nicht. Ein Blick auf die Preisliste zeigt, dass man für eine der Maschinen – ausgestattet mit 512 GByte und der kleinsten 1-TByte-SSD – 11.674 Euro zahlt. Zusammen wären es also fast 47.000 Euro. Das in macOS 26.2 eingebaute Feature führt das Modell mit einer Billion Parametern dann ganz ohne Riesen-PC samt Spezialgrafikkarten aus – offenbar in ausreichender Geschwindigkeit.

Thunderbolt 5 latenzarm mit 80 Gb/s

Insgesamt gingen dabei laut Engadget 500 Watt in der Spitze drauf, ein Zehntel eines vergleichbaren GPU-Clusters. Spezialhardware ist neben den vier Mac Studios nicht notwendig, Apple nutzt die via TB5 problemlos übertragbaren 80 Gb/s und hat für macOS 26.2 intern wie erwähnt an der Latenz geschraubt. Offenbar ist kein Hub notwendig, der die Geschwindigkeit einschränken würde. Die Technik ist auch weiter für den Mac mini M4 Pro nutzbar, eine wesentlich günstigere Alternative. Allerdings gibt es den nur mit maximal 64 GByte RAM pro Stück.

Eine weitere Neuerung in macOS 26.2 laut dem Bericht: Apples MLX bekommt Zugriff auf die neuen Neural Accelerators im M5-Chip. Apple neuestes SoC gibt es allerdings bislang nur im MacBook Pro M5, das nur über Thunderbolt 4 verfügt. Macs mit M5 Pro und M5 Max werden erst im kommenden Frühjahr erwartet.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.

Preisvergleiche immer laden Preisvergleich jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

(bsc)