Lokale KI: Machine Learning und KI auf Apple Silicon mit MLX betreiben
APIs und eine einheitliche Sicht auf die Hardware machen es Entwicklern leicht, mit Apples MLX-Framework Sprachmodelle zu betreiben und ML-Anwendungen zu bauen.
- Ramon Wartala
Im Vergleich zum gut abgehangenen Nvidia-Stack mit seiner Integration von Beschleunigerkernen und CUDA-Software haben es ARM-basierte Systeme immer noch schwer, beim Thema Machine Learning und KI mitzuhalten. Apple will mit MLX dagegenhalten, einem Machine-Learning-Framework, das die CPU- und GPU-Kerne der Apple-SoCs für KI- und Machine-Learning-Entwickler erschließt.
Entwickelt von Apples internem Machine-Learning-Forschungsteam, adressiert MLX die steigenden Anforderungen moderner KI-Entwicklung und -Forschung auf Apple-Systemen. Charakteristisch für MLX ist sein intuitives API-Design, das stark von populären Python-Bibliotheken wie NumPy beeinflusst ist. Die Schnittstelle zu Operatoren für neuronale Netze und deren Optimierung lehnt sich an PyTorch an. Zudem setzt MLX auf Lazy Evaluation, bei der Berechnungen erst dann ausgeführt werden, wenn alle Operationen im Berechnungsgraphen definiert wurden – eine Technik, die Effizienz und Performance steigert.
- Mit dem Open-Source-Framework MLX von Apple lässt sich Apple-Silicon-Hardware direkt für Machine Learning und KI nutzen.
- Entwickler können MLX über C/C++-, Swift- und Python-APIs einbinden.
- MLX unterstützt sowohl CPU- als auch GPU-Kerne der Apple-SoCs, Apples Neural-Engine-Kerne dagegen noch nicht.
- MLX nutzt Apples Unified Memory Architecture, um Operationen parallelisiert auszuführen.
- Große Sprachmodelle lassen sich nicht nur einfach einbinden, sondern auch quantisieren.
- Die MLX-Community auf Hugging Face stellt permanent neue, angepasste Modelle zur Verfügung.
- In Frameworks wie LangChain und LlamaIndex sind MLX-Modelle nutzbar.
MLX profitiert von der einheitlichen Speicherarchitektur auf Apples Systemen, die eine gemeinsame Speichernutzung aller Recheneinheiten ermöglicht. Das erlaubt eine nahtlose und hochperformante parallele Verarbeitung von Machine-Learning-Workloads auf CPU und GPU. Diese Architektur unterscheidet sich damit von Intel-basierten Systemen und der Speicherverwaltung in Nvidias GPU-Architektur, wo separate Speicherpools und explizite Speichertransfers erforderlich sind.
Das war die Leseprobe unseres heise-Plus-Artikels "Lokale KI: Machine Learning und KI auf Apple Silicon mit MLX betreiben". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
