Frag den Falken!
Sprach-KI Falcon-7B in Google Colab ausprobieren
KIs haben sich zu solchen Speichermonstern entwickelt, dass man sie kaum mehr auf dem eigenen Rechner ausführen, geschweige denn bearbeiten kann. Zum Glück gibt es kostenlose Clouddienste wie Colab, in denen man zum Beispiel Sprachmodelle installieren und nach Belieben anpassen kann.
Sprach-KIs verschlingen Unmengen an Rechenleistung und Speicher – so viel, dass es fast unmöglich ist, sie auf dem eigenen PC auszuführen. Wenn Sie damit trotzdem experimentieren möchten, um beispielsweise zu lernen, wie man sie aus Python-Skripten heraus verwendet, um sie in Ihre Projekte zu integrieren, müssen Sie nicht gleich in teure Hardware investieren.
Nutzen Sie stattdessen die Cloud – kostenlos. Zum Beispiel den Dienst Colab (kurz für Colaboratory) von Google [1]. Bei Colab handelt es sich um einen Python-Editor, der sich an dem von Jupyter-Notebook orientiert. Um ihn zu nutzen, benötigen Sie nur einen Google-Account. In der kostenfreien Version haben Sie Zugriff auf 12,7 GByte System-RAM, 78,2 GByte an Laufwerkspeicher und 15 GByte GPU-RAM. Das ist mehr als genug, um kleine Sprachmodelle darin herunterzuladen und auszuprobieren.