Bit-Rauschen, der Prozessor-Podcast: Kleine KI-Modelle für PC & Notebook
KI boomt bisher in der Cloud – Datenschutz adé. Aber es kommen immer mehr kleine, lokale Modelle – was taugen die? Folge 2025/15 des Podcasts Bit-Rauschen.
Der Hype um Künstliche Intelligenz wurde von großen Sprachmodellen gezündet. Wie deren Name schon andeutet, fressen sie gewaltige Mengen Rechenleistung und laufen daher in Rechenzentren, also in der Cloud.
Folglich gibt man seine Daten aus der Hand, wenn man sie benutzt. Grundsätzlich geht das auch anders, indem man KI lokal betreibt, also auf Desktop-PC, Notebook, Smartphone oder sogar NAS oder Homeserver. Weil derartige Hardware jedoch weniger Rechenleistung, Arbeits- und Massenspeicher hat, kann sie nur kleinere KI-Modelle bewältigen.
Einige gibt es schon, beispielsweise zur Bilderzeugung oder zur Transkription von Audio-Aufnahmen in Text. Von vielen Large Language Models (LLMs) gibt es zwar verkleinerte Versionen, die auf einem Notebook laufen, aber viel schlechter.
Die c’t-Redakteurin Andrea Trinkwalder erklärt im Gespräch mit ihrem Kollegen Christof Windeck, welche lokalen KI-Modelle es gibt, wie man große Modelle schrumpft und was dabei kaputtgeht. Folge 2025/15 von „Bit-Rauschen, der Prozessor-Podcast von c’t“.
Podcast Bit-Rauschen, Folge 2025/15 :
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Wir freuen uns über Anregungen, Lob und Kritik zum Bit-Rauschen. Rückmeldungen gerne per E-Mail an bit-rauschen@ct.de.
Alle Folgen unseres Podcasts sowie die c’t-Kolumne Bit-Rauschen finden Sie unter www.ct.de/Bit-Rauschen
(ciw)
