Grafikkarte mit Whisper AI
Ich habe Whisper AI ausprobiert. Um Whisper noch schneller zu bekommen, habe ich eine GeForce RTX 3060 bestellt, aber Whisper findet sie offenbar nicht.
Ich habe anhand Ihres Artikels mit Begeisterung Whisper AI ausprobiert. Um Whisper noch schneller zu bekommen, habe ich mir extra eine GeForce RTX 3060 bestellt. Whisper hat sie aber offenbar nicht gefunden und genutzt. Muss ich da extra was tun, damit das funktioniert? Ich hatte gehofft, Whisper prüft selbst, ob eine Grafikkarte verwendet werden kann. Haben Sie einen Tipp für mich?
Ja, haben wir. Aller Wahrscheinlichkeit nach fehlt auf Ihrem System die PyTorch-Umgebung, die Nvidias CUDA-Programmierumgebung nutzt und damit eine Beschleunigung durch die Grafikkarte erst möglich macht.
Diese können Sie in der PowerShell zum Beispiel mit dem Befehl pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121 nachinstallieren. Der Download ist insgesamt noch einmal rund 2,4 GByte schwer. Wollen Sie keinen „Nightly“-Build, können Sie auch die Stable-Version 11.8 nutzen: pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118. Auf Systemen, bei denen eine unterstützte Grafikkarte erst im Nachhinein hinzugefügt wird, prüft Whisper AI offenbar nicht, ob sich die Voraussetzungen geändert haben, und installiert daher auch kein passendes PyTorch nach.
(csp)
