Bingo-Bongo! schrieb am 07.12.2023 14:52:
Also die lokale Speicherbandbreite auf einer H100 Karte beträgt 2 TB/sec.
Auf einem 8 Karten DGX H100 System beträgt die Speicherbandbreite von GPU zu GPU immerhin noch 900 GB/sec. Das finde ich gar nicht mal so übel.
Und hier sind es 896 GByte/s