Deep Learning: Das minimalistische ML-Framework tinygrad
Mit reduziertem Befehlssatz und hoher Portabilität sagt das kleine ML-Framework tinygrad den Dickschiffen TensorFlow und PyTorch den Kampf an.
- Ramon Wartala
Auch wenn sich in den letzten Jahren PyTorch und TensorFlow bei der Deep-Learning-Entwicklung durchsetzen konnten, gibt es darüber hinaus viele weitere Frameworks, die Lücken füllen oder besonders gut auf bestimmte Hardware abgestimmt sind. George Hotz, PS3- und iPhone-Hacker der ersten Stunde und Gründer der offenen Fahrzeugassistenzsoftware openpilot, hat mit tinygrad ein weiteres, leichtgewichtiges Deep-Learning-Framework geschaffen, das auf unterschiedlicher Beschleunigerhardware läuft. Sein Ziel ist es, die Kosten für das Training und die Inferenz von KI-Modellen so zu senken, dass sich für beides bezahlbare eigene Hardware nutzen lässt.
Absoluter Marktführer bei KI-Hardware ist Nvidia: Systeme wie die A100- oder H100-GPUs sind aktuell der Renner, wenn es um Training oder Feintuning großer KI-Modelle in der Cloud geht. Wenn die Modelle dann in Betrieb gehen, liefert der Grafikkartenhersteller auch dort die nötige Hardware, um den rund 100 Millionen Nutzern von ChatGPT Textausgaben zu präsentieren. Frameworks wie TensorFlow, PyTorch und andere setzen dabei auf die hardwarespezifischen Beschleunigerbibliotheken CUDA, cuDNN, cuBLAS und andere, um das Training der Abermilliarden Parameter dieser Modelle überhaupt in endlicher Zeit zu ermöglichen.
Man könnte meinen, dass bei der Dominanz von Nvidia kein Platz mehr für andere Wettbewerber im Markt bleibe. Und doch gibt es Alternativen: Das von Apple im Jahr 2014 eingeführte Metal sollte primär das mobile Hardwaregeschäft von Smartphones, Tablets und Settop-Boxen ankurbeln, indem es die Ausführung schneller 3D-Spiele ermöglichte. Ebenso wie CUDA von Nvidia erlaubt Metal die systemnahe Entwicklung von Shadern und bietet Zugang zu hardwarebeschleunigten Berechnungen direkt in den spezifischen GPU-Kernen des Apple-Prozessors. Damit lassen sich dann nicht nur Bilder schneller filtern und Vektoren und Matrizen schneller multiplizieren, sondern auch Tensoren eines künstlichen neuronalen Netzes falten oder ableiten.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet
Schöner sehen: Fünf 4K-Monitore mit USB-C für den Mac im Test
Papierloses Büro: Wie man mit paperless-ngx die Dokumentenverwaltung optimiert
Smart-Home-Zentralen im Vergleich: Amazons Echo Hub gegen Home Assistant
Know-how für Heim-Admins: Alles über Ethernet-Switches
Leistungsfähiges Dateisystem für Linux: Bcachefs im Test
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet
Schöner sehen: Fünf 4K-Monitore mit USB-C für den Mac im Test
Papierloses Büro: Wie man mit paperless-ngx die Dokumentenverwaltung optimiert
Smart-Home-Zentralen im Vergleich: Amazons Echo Hub gegen Home Assistant
Know-how für Heim-Admins: Alles über Ethernet-Switches