Google-Entwickler: Open-Source-KI wird Google und OpenAI den Rang ablaufen

In einem geleakten Dokument fordert ein leitender Entwickler Google zur Zusammenarbeit mit den sich rasant entwickelnden Open-Source-KI-Projekten auf.

102

(Bild: Erstellt mit Midjourney durch heise online)

06.05.2023, 14:06 Uhr

Lesezeit: 2 Min.

Von

Dr. Volker Zota

Die Website SemiAnalysis hat ein internes Schreiben eines leitenden Google-Entwicklers mit dem Titel "We Have No Moat, And Neither Does OpenAI" (Wir haben keinen Burggraben, und OpenAI auch nicht) veröffentlicht, das von einer anonymen Person auf einem öffentlichen Discord-Server geteilt wurde. Der Entwickler ist überzeugt, dass der zunehmende Erfolg von Open-Source-Projekten im Bereich der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache sowohl Google als auch OpenAI in Bedrängnis bringe. Als Grund dafür nennt er die beeindruckende Geschwindigkeit, mit der sich freie Sprachmodelle wie Metas LLaMA weiterentwickeln. LLaMA war kurz nach der Ankündigung als Torrent an die Öffentlichkeit gelangt und dient inzwischen als Grundlage zahlreicher anderer Modelle, etwa Alpaca (Stanford University), Vicuna, LLaVA und Koala (Berkeley University).

Nach nur einem Monat habe die Open-Source-Community bereits Varianten mit Instruction Tuning, Reinforcement Learning from Human Feedback (RLHF), Quantisierung und diversen anderen Qualitätsverbesserungen erzielt. Konnten sich bisher nur große Unternehmen das Training großer Sprachmodelle leisten, hätten Schlüsselinnovationen in Open-Source-Projekten wie Low Rank Adaptation (LoRA) die Eintrittsbarriere für Training und Experimente deutlich gesenkt, schreibt der Entwickler. Gleichzeitig ermöglichten diese Techniken schnelle Iterationen, hohe Qualität und niedrigere Kosten. Dadurch haben Open-Source-Modelle den Wettbewerb mit Google und OpenAI verschärft und stellen eine ernsthafte Bedrohung dar.

Lesen Sie auch

Abseits von OpenAI: Unabhängige Sprachmodelle zeigen, was möglich ist

An "Open-Source-Realität" anpassen

Nach Meinung des Entwicklers sei es für Google [und OpenAI] entscheidend, sich an diese Open-Source-Realität anzupassen und Wege zu finden, mit der Community zusammenzuarbeiten, anstatt die Kontrolle über ihre Modelle zu behalten.

Google solle erwägen, kleinere Versionen seiner Modelle der Allgemeinheit zur Verfügung zu stellen und die Lücke zwischen kommerziellen und Open-Source-Angeboten zu schließen. Dazu gehöre auch die Zusammenarbeit mit Forschern und Entwicklern, um die eigene Innovationskraft zu stärken. Denn die freien Projekte lösten bereits Probleme, mit denen Google noch immer zu kämpfen habe. Daher seien die Zusammenarbeit mit der Open-Source-Community und die Anpassung an die neuen Bedingungen entscheidend, um langfristig einen Mehrwert zu schaffen und den Einfluss beider Unternehmen in der KI-Branche zu erhalten.