Sprach-KI: Wie Sie Falcon-7B mit Google Colab ausprobieren können
KI-Sprachmodelle sind Speichermonster. Damit man sie trotzdem installieren und nach Belieben anpassen kann, bieten sich kostenlose Clouddienste wie Colab an.
(Bild: KI Midjourney | Bearbeitung c’t)
Sprach-KIs verschlingen Unmengen an Rechenleistung und Speicher – so viel, dass es fast unmöglich ist, sie auf dem eigenen PC auszuführen. Wenn Sie damit trotzdem experimentieren möchten, um beispielsweise zu lernen, wie man sie aus Python-Skripten heraus verwendet, um sie in Ihre Projekte zu integrieren, müssen Sie nicht gleich in teure Hardware investieren.
Nutzen Sie stattdessen die Cloud – kostenlos. Zum Beispiel den Dienst Colab (kurz für Colaboratory) von Google. Bei Colab handelt es sich um einen Python-Editor, der sich an dem von Jupyter-Notebook orientiert. Um ihn zu nutzen, benötigen Sie nur einen Google-Account.
In der kostenfreien Version haben Sie Zugriff auf 12,7 GByte System-RAM, 78,2 GByte an Laufwerkspeicher und 15 GByte GPU-RAM. Das ist mehr als genug, um kleine Sprachmodelle darin herunterzuladen und auszuprobieren.
Das war die Leseprobe unseres heise-Plus-Artikels "Sprach-KI: Wie Sie Falcon-7B mit Google Colab ausprobieren können". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Informatiker bei der Bundeswehr: Einstieg, Aufgaben und Gehalt
M4 im MacBook Pro im Test: Das können Apples neue Profi-Notebooks
Quasseln mit der KI: Jetzt ganz natürlich plaudern mit ChatGPT und Gemini
Mobile Spielkonsolen im Test: Von Linux-Gaming bis hin zu Windows-Kraftpaketen
So stellt sich GitHub die Zukunft des Programmierens vor