Podcast BURN 4 IT by iX: WASM als Runtime für große Sprachmodelle
WASM taugt nicht nur, um schnellen Binärcode in den Browser zu bringen. WASM-Runtimes sind auch eine perfekte Laufzeitumgebung für LLMs.
WASM, kurz für WebAssembly, wurde ursprünglich entwickelt, um in Compiler-Sprachen wie C oder Rust geschriebenen Code in den Browser zu bringen. Gegenüber JavaScript-Code lassen sich so erhebliche Performance-Gewinne erzielen, vor allem bei rechenintensivem Code.
Mittlerweile existieren WASM-Runtimes wie Wasmer, die WASM-Code unabhängig vom Browser ausführen – und über WASI plattformunabhängige Systemschnittstellen zur Verfügung stellen. Das macht WASM zu einer attraktiven Laufzeitumgebung für verschiedenste Anwendungen. Docker-Erfinder Solomon Hykes erklärte vor einigen Jahren: "Wenn WASM und WASI 2008 existiert hätten, hätten wir Docker nicht machen müssen".
Für die neue Folge des iX-Podcasts BURN 4 IT hat JP Hoepfner die WASM-Runtime Wasmer verwendet, um das Open-Spurce-LLM LLama auf seinem Notebook zu nutzen. Im Podcast erklärt er, was es mit WASM, WASM-Runtimes und dem WebAssembly System Interface WASI auf sich hat und warum das eine gute Wahl ist, um schnell ein lokales Sprachmodell zum Laufen zu bringen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
BURN 4 IT by iX ist der neue Podcast für IT-Profis. In Kooperation zwischen BURN 4 IT, dem Podcast für Menschen und Themen in der IT, und dem iX-Magazin für professionelle IT entstehen alle zwei Wochen Beiträge, die tiefe Einblicke in die Welt der modernen Applikationsentwicklung und des zeitgemäßen IT-Betriebs liefern – vom DataCenter bis zur Cloud, vom Server bis zum Container. Viel Spaß damit!
(odi)
