Hallo Redaktion,
vielen Dank für die ausführliche Besprechung! Hier einige Anmerkungen und Fragen dazu:
Unter"keine Kompromisse" hätte ich ein System mit AMD Threadripper verstanden mit mindestens 512 GB Ram und einer Nvidia A6000. Ich weiß nicht, wie sinnvoll es ist, stattdessen mit den arg limitierten PC-Komponenten herumzukrökeln. Mit einer RTX 4090 erübrigen sich auch alle anderen Stromsparversuche, die sind nämlich nur noch im einstelligen Prozentbereich.
Mich würden drei Fragen interessieren:
1. Ist es mit überschaubarem Aufwand möglich, einen kleinen Nvidia-Cluster selbst zusammenzubauen, auf dem CUDA-Jobs per Netzwerk eingespielt werden? Geht sowas hard- und softwaretechnisch? Oder erfordert das professionellen Aufwand?
2. Gibt es Anbieter, die es ermöglichen, Rechenzeit auf NVidia-Clustern zu mieten? Und wie sieht das preislich aus i. Vgl. zu einem beispielhaft wie im Artikel zusammengebauten PC?
3. Bei Apple bekommt man derzeit bis zu 192 GB"unified memory", und Apple wirbt ja gerade auch mit den Möglichkeiten zum Training großer KI-Modelle. Ich kenne mich nicht aus, auf welche Art von KI-Modellen sich das bezieht, aber wäre man damit nicht besser bedient als mit einem Nvidia-Ziegelstein mit 24 GB RAM?
Viele Grüße,
T.N.