Sprach-KI: Wie Sie Falcon-7B mit Google Colab ausprobieren können
KI-Sprachmodelle sind Speichermonster. Damit man sie trotzdem installieren und nach Belieben anpassen kann, bieten sich kostenlose Clouddienste wie Colab an.
(Bild: KI Midjourney | Bearbeitung c’t)
Sprach-KIs verschlingen Unmengen an Rechenleistung und Speicher – so viel, dass es fast unmöglich ist, sie auf dem eigenen PC auszuführen. Wenn Sie damit trotzdem experimentieren möchten, um beispielsweise zu lernen, wie man sie aus Python-Skripten heraus verwendet, um sie in Ihre Projekte zu integrieren, müssen Sie nicht gleich in teure Hardware investieren.
Nutzen Sie stattdessen die Cloud – kostenlos. Zum Beispiel den Dienst Colab (kurz für Colaboratory) von Google. Bei Colab handelt es sich um einen Python-Editor, der sich an dem von Jupyter-Notebook orientiert. Um ihn zu nutzen, benötigen Sie nur einen Google-Account.
In der kostenfreien Version haben Sie Zugriff auf 12,7 GByte System-RAM, 78,2 GByte an Laufwerkspeicher und 15 GByte GPU-RAM. Das ist mehr als genug, um kleine Sprachmodelle darin herunterzuladen und auszuprobieren.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Linux-Umstieg: Mit Linux Mint Cinnamon wie gewohnt weiterarbeiten
Im Test: Smartes Heizkörperthermostat und Offset-Sensor mit Thread und Matter
Mini-PC-Barebone für AMD Ryzen 7000/8000G im Test
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Gehälter 2024: Das verdienen Admins in Deutschland
Ausprobiert: Fritzbox als NAS-Ersatz verwenden
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Linux-Umstieg: Mit Linux Mint Cinnamon wie gewohnt weiterarbeiten
Im Test: Smartes Heizkörperthermostat und Offset-Sensor mit Thread und Matter
Mini-PC-Barebone für AMD Ryzen 7000/8000G im Test
IT-Gehälter 2024: Das verdienen Security-Experten in Deutschland
Gehälter 2024: Das verdienen Admins in Deutschland