Also die lokale Speicherbandbreite auf einer H100 Karte beträgt 2 TB/sec.
Auf einem 8 Karten DGX H100 System beträgt die Speicherbandbreite von GPU zu GPU immerhin noch 900 GB/sec. Das finde ich gar nicht mal so übel.
Und wenn du die Kohle hast um die einen DGX SuperPOD hinzustellen, dann stehen dir sogar 640 GB mit 24 TB/sec zur Verfügung.
Ich weiß auch nicht wie relevant die Geschwindigkeit beim KI Training wirklich ist. Wenn das Model einmal über alle Karten verteilt ist, dann sind die Daten, die beim Training darüber verteilt werden müssen im Vergleich zu den Berechnungen doch relativ gering, oder nicht? Sagt mir jetzt zumindest meine Intuition ohne das genau zu wissen. Ist die Größe hier nicht in den meisten Fällen wichtiger als die Geschwidigkeit?