LLMs erobern den Browser: Chrome experimentiert mit Built-in-AI-APIs

Generative KI legt den Grundstein für zahlreiche Anwendungsfälle, die vorher schwierig oder gar nicht umzusetzen waren. Sie legt den Fokus auf das Verarbeiten und Erzeugen von Inhalten wie Text, Bildern, Audio und Video mithilfe von Machine-Learning-Modellen: In der Trainingsphase werden sie mit erheblichen Datenmengen trainiert und können dann aus ihnen völlig unbekannten Situationen sinnvolle Zusammenhänge schließen, in denen regelbasierte Algorithmen an ihre Grenzen stoßen.

Überkreuz - Christian Liebel

Christian Liebel (@christianliebel) ist Softwareentwickler bei Thinktecture in Karlsruhe. Er unterstützt seine Kunden bei Digitalisierungsprojekten und der Modernisierung von Businessanwendungen. Sein Steckenpferd sind Cross-Platform-Anwendungen auf Basis moderner Webtechnologien wie Angular, Progressive Web Apps, Project Fugu und Web Components. Für seine Community-Beiträge wurde er als Microsoft MVP und Google GDE ausgezeichnet.

Large Language Models sind Tausendsassas

Large Language Models (LLMs) beschränken sich auf das Verarbeiten und Erzeugen von Text in natürlicher Sprache. Sie sind bereits zu einem wichtigen Baustein in der Softwarearchitektur geworden: LLMs können Inhalte übersetzen, Daten aus unstrukturiertem Text extrahieren, längere Textabschnitte präzise zusammenfassen, Code schreiben oder interaktive Dialoge mit dem Anwender führen.

Bislang führte der Weg zur Nutzung von LLMs praktisch immer in die Cloud. Gerätehersteller sind jedoch dazu übergegangen, LLMs mit ihren Geräten und Betriebssystemen auszuliefern: Die Funktionen von Apple Intelligence wie das Zusammenfassen mehrerer Benachrichtigungen werden durch ein lokales LLM ausgeführt. Google liefert High-End-Smartphones mit seinem LLM Gemini Nano aus und Microsoft bringt mit der Windows Copilot Runtime sein LLM Phi Silica auf Windows-Geräte.

Lokal ausgeführte LLMs schützen Privatsphäre

Lokal ausgeführte LLMs sind auch offline verfügbar, haben ein verlässliches Antwortverhalten unabhängig von der Netzwerkqualität und die Userdaten verlassen das Gerät nicht, was die Privatsphäre des Anwenders schützt. Da LLMs aber einen großen Speicherplatzbedarf haben, werden oftmals eher kleinere LLMs eingesetzt, die eine geringere Antwortqualität haben. Die Performance hängt zudem vom Endgerät ab.

Sechs Built-in-AI-APIs stehen zur Verfügung

Im Rahmen seiner Built-in-AI-Initiative liefert Google KI-Modelle zu Testzwecken mit seinem Browser Google Chrome aus. Für die Installation werden Windows 10 oder 11, macOS ab Version 13 (Ventura), 6 GByte Video-RAM und mindestens 22 GByte freier Festplattenplatz auf dem Volume des Chrome-Profils vorausgesetzt, die heruntergeladenen KI-Modelle sind allerdings deutlich kleiner.

Nach dem initialen Download teilen sich sämtliche Webseiten den Zugriff auf diese Modelle über sechs Built-in-AI-APIs, die innerhalb der Web Machine Learning (WebML) Community Group des W3C spezifiziert sind. Eine der APIs ist allgemein verwendbar, während der Rest aufgabenspezifisch ist:

• Prompt API: allgemein verwendbare Schnittstelle zur Ausführung von LLM-Konversationen, erlaubt neben der Implementierung von Chatbots auch Anwendungsfälle wie Ideenfindung, Sentiment-Analyse oder das Extrahieren und Klassifizieren von Daten.
• Writing Assistance APIs:
  • Summarizer API fasst Textabschnitte zusammen.
  • Writer API schreibt einen Text zu einem vorgegebenen Prompt.
  • Rewriter API schreibt einen Text nach bestimmten Wünschen um.
• Translator and Language Detector APIs:
  • Translator API übersetzt einen Text von einer Sprache in eine andere.
  • Language Detector API erkennt die Sprache, in der ein Text verfasst ist.

Während die Prompt API und Writing Assistance APIs derzeit auf das LLM Gemini Nano 2 mit 3,25 Milliarden Parametern zurückgreifen, werden für die Translation und Language Detection API intern andere Modelle genutzt.

Developer können erste APIs bereits testen

Das Chrome-Team stellt die APIs derzeit im Rahmen eines Origin Trial zur Verfügung. Dabei handelt es sich um eine Testphase für neue Webplattform-APIs. Entwickler müssen von Google ein Origin-Trial-Token beziehen und mit ihrer Website ausliefern. Dann wird die Schnittstelle auf dieser Website aktiviert, auch wenn sie noch nicht allgemein verfügbar ist.

Auf diese Art können Interessierte die Translator API, Language Detector und Summarizer APIs bereits testen. Auch für die Prompt API gibt es eine Origin Trial, allerdings nur für Chrome-Erweiterungen.

Da sich die APIs noch alle im Spezifikationsprozess befinden und sich das KI-Feld stetig weiterbewegt, sind Änderungen an den Schnittstellen sehr wahrscheinlich. So soll etwa die Prompt API künftig multimodale Eingaben (neben Text auch Bilder oder Audiomitschnitte) verarbeiten können.

TypeScript-Pakete stehen zur einfachen Verwendung bereit

Mit dem Paket @types/dom-chromium-ai stehen bereits TypeScript-Definitionen zur Verfügung, um die APIs bequem aus eigenem TypeScript-Code aufrufen zu können. Das Paket entspricht derzeit der in Chrome 128.0.6545.0 implementierten API. Änderungen werden mit neuen Chrome-Versionen nachgeliefert.

Das folgende Beispiel zeigt die Verwendung der Language Detector API in einer Webanwendung:

const languageDetector = await self.ai.languageDetector.create();
const review = "こんにちは！Hier esse ich einfach am liebsten Sushi."
               + "Immer super 美味しい！";
const result = await languageDetector.detect(review);
// result[0]: {confidence: 0.800081193447113, 
               detectedLanguage: 'de'}
// result[1]: {confidence: 0.0267348475754261, 
               detectedLanguage: 'ja'}

Fazit

Die Built-in-AI-APIs sind ein spannendes Experiment, das die Fähigkeiten generativer KI direkt auf das eigene Gerät bringt. Entwickler und Entwicklerinnen können im Rahmen des Early-Preview-Programms für Built-in AI Feedback an das zuständige Chrome-Team richten.

Danke an Thomas Steiner für das Review dieses Blogposts.

(rme)