KI-Update kompakt: Denklücken, Musk vs. OpenAI, Computerwürmer, BWKI
Das "KI-Update" liefert werktäglich eine Zusammenfassung der wichtigsten KI-Entwicklungen.
Forscher identifizieren "Denklücke" in großen KI-Modellen
Consequent-AI-Forscher haben große Sprachmodelle wie GPT-4 untersucht, um herauszufinden, ob sie logische Schlussfolgerungen ziehen oder lediglich Ergebnisse aus Trainingsdaten abrufen können. Sie führten das Konzept der "funktionalen Varianten" ein, bei dem bekannte Benchmarks in Code umgewandelt werden, um einzigartige Fragen zu generieren, die dieselbe Lösungslogik erfordern, aber nicht im Trainingsdatensatz der Modelle enthalten sind.
Die Studie identifizierte eine "Denklücke" bei Modellen wie GPT-4, die eine deutlich bessere Leistung bei bekannten Benchmark-Problemen zeigten als bei neuen, spontan zu lösenden Problemen. Die Ergebnisse weisen darauf hin, dass Sprachmodelle Teile ihrer hohen Leistungen in Benchmarks durch "Memorization" erreichen. Allerdings zeigt die Denklücke auch, dass dennoch gewisse Schlussfolgerungsfähigkeiten vorliegen können.
KI-Forscher François Chollet ordnete auf X die Ergebnisse ein. Nach ihm gibt es vier Stufen der Generalisierungsfähigkeit. Die meisten Sprachmodelle operieren derzeit auf Stufe 1, bei der sie Antworten auf eine statische Menge von Aufgaben auswendig lernen und zwischen ihnen interpolieren. Auf Stufe 2 würden Modelle generalisierbare Programme ausführen, um Aufgaben innerhalb einer festen Menge robust zu lösen. Große Sprachmodelle könnten einige dieser Aufgaben lösen, seien jedoch nicht sonderlich gut darin und datenineffizient, wie die neuen Ergebnisse zeigen. Stufe 0 wäre eine einfache Datenbank ohne Denkfähigkeit und Stufe 3 die Fähigkeit, auf Anfrage neue Programme zu generieren, die neue Probleme lösen – das wäre allgemeine Intelligenz.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Elon Musk verklagt OpenAI und hält GPT-4 für AGI
Elon Musk hat Klage gegen OpenAI eingereicht und wirft dem Unternehmen vor, seine ursprüngliche Vereinbarung, offene KI-Modelle für die Menschheit zu entwickeln, gebrochen zu haben. Laut Musk agiert OpenAI nun als verlängerter Arm von Microsoft. Er behauptet auch, dass GPT-4 besser schlussfolgern kann als der durchschnittliche Mensch und daher zumindest eine Vorstufe genereller Künstlicher Intelligenz – also AGI – sei. Wirklich haltbar ist diese Behauptung wohl nicht, da viele Benchmarks die Grenzen der aktuellen Modelle aufzeigen. Allerdings stuft Google Deepmind GPT-4 als "Emerging AGI" ein.
In der Klage fordert Musk, dass OpenAI zu seiner Tradition zurückkehrt, KI-Forschungen der Öffentlichkeit zugänglich zu machen. Zudem verlangt er eine gerichtliche Klärung, ob GPT-4 und ein mögliches Q* als AGI gelten und damit außerhalb der Reichweite von Microsoft wären.
Der Ausgang von Musks Klage ist ungewiss, da kein Vertragsbruch vorliegt. Der Prozess könnte jedoch dazu führen, dass die Öffentlichkeit mehr über die Interna von OpenAI erfährt, möglicherweise auch Informationen zu Q*, GPT-5 und anderen großen KI-Modellen.
The Intercept, AlterNet und Raw Story verklagen OpenAI
The Intercept, AlterNet und Raw Story haben Klagen gegen OpenAI wegen Verletzung des Digital Millennium Copyright Act (DMCA) eingereicht. Sie werfen OpenAI vor, urheberrechtlich geschützte Inhalte ohne Genehmigung zum Training verwendet und dabei Titel, Urheber und Copyright-Informationen unterschlagen zu haben. Die Kläger beziehen sich auf eine Erhebung von Copyleft, die bei 60 Prozent der Ausgaben von GPT 3.5 Plagiate entdeckt hat, wobei mehr als 45 Prozent der Texte identische Kopien fremder Werke waren, jedoch ohne Angaben zu Copyright, Urheber und Titel.
The Intercept verklagt zusätzlich Microsoft wegen weiterer Vorwürfe im Zusammenhang mit Copyright Management Information. Sie behaupten, Microsoft habe solche Angaben aus Werkkopien entfernt und verkürzte Trainingsdaten an OpenAI weitergegeben. Pro Verletzung fordern die Kläger mindestens 2.500 US-Dollar Schadenersatz, Unterlassungsverfügungen und Ersatz ihrer Anwalts- und Verfahrenskosten. Die Verfahren wurden am 28. Februar beim US-Bundesbezirksgericht für das Südliche New York eingereicht.
Generative KI erzeugt neue Computerwürmer
Forscher der Cornell University und des israelischen Technion-Instituts haben gezeigt, wie sich Computerwürmer über KI-gestützte Assistenten verbreiten können. Sie nannten ihren Ansatz Morris II, in Anlehnung an den ersten Computerwurm Morris von 1988. Der Ansatz basiert auf "feindlichen, selbst replizierenden Prompts", bei denen Angreifer ein KI-Modell dazu bringen, statt einer Antwort auf einen Prompt wiederum diesen Prompt zu erzeugen. Die Modelle können die üblichen großen Sprachmodelle sein, aber auch multimodale Modelle, die aus Sprache Bilder oder Videos erzeugen und umgekehrt. Das ist besonders interessant, da sich dann die replizierten Prompts auch in KI-generierte Bilder einbetten lassen.
Die Verbreitung solcher Würmer setzt voraus, dass ein KI-Modell Nutzereingaben interpretiert und daraufhin bestimmte Aktionen ausführt. Die Forscher wählten als Beispiel einen KI-gestützten E-Mail-Assistenten und zeigten, wie sich selbstreplizierende Prompts per E-Mail einschleusen lassen. Die Autoren der Studie betonen, dass mit der Verbreitung und Verknüpfung von KI-Diensten neuartige Schadprogramme entstehen können. Der vorgestellte Ansatz ist derzeit eher als Proof-of-Concept zu sehen, könnte aber bei zunehmender Verbreitung von KI-Assistenten eine reale Bedrohung darstellen.
Microsoft „Moment 5“ Update bringt KI-Verbesserungen
Microsoft hat die Update-Vorschau für Windows 11 veröffentlicht, die als "Moment 5" bezeichnet wird und Verbesserungen sowie eine tiefere Integration von Microsofts KI Copilot bietet. Die Copilot-Vorschau unterstützt nun die Copilot-Taste, ein neues Icon in der Taskleiste und erlaubt das An- und Abdocken sowie die Größenänderung der Copilot-Fläche.
Copilot erhält zudem Plug-ins, die seine Funktionalität erweitern. So kann Copilot Tischreservierungen in Restaurants mit OpenTable auf Zuruf vornehmen. Aber auch Instacart, Kayak, Shopify sowie Klarna sollen mit Plug-ins unterstützt werden, wobei nur letzteres Unternehmen im deutschsprachigen Raum eine größere Relevanz hat. Auch die mitgelieferten Programme stattet Microsoft mit künstlicher Intelligenz aus: In der Foto-App gibt es eine Art magischen Radiergummi oder Freistellfunktionen, das Videoschnittprogramm Clipchamp kann stille Passagen erkennen und automatisch ausschneiden oder Untertitel automatisch erstellen. Aber auch beim Ändern von Einstellungen hilft Copilot auf Prompt-Eingabe: "Aktiviere den Stromsparmodus" oder auch das Ausschalten versteht der KI-Assistent schnell. Weitere Fähigkeiten sind das Starten der Live-Untertitelung oder der Bildschirmlupe oder das Anzeigen der verfügbaren WLAN-Netze. Auch Sprachbefehle für Aufgaben können erstellt werden.
Die Änderungen sind zum Teil sofort mit der jetzt verfügbaren Update-Vorschau verfügbar, die als optionales Update unter Windows Update zur Verfügung steht. Weitere Funktionen folgen sukzessive im Laufe des März.
BitNet b1.58 – 1-Bit-Modelle könnten die Zukunft von Chatbots sein
Forscher von Microsoft Research und der University of Chinese Academy of Sciences haben BitNet b1.58 vorgestellt, ein 1-Bit-Sprachmodell, das hohe Leistung bei reduzierten Kosten und Energieverbrauch verspricht. BitNet b1.58 arbeitet mit ternären Parametern, also Werten von -1, 0 und 1, und bietet ähnliche Leistung wie herkömmliche 16-Bit-Modelle, jedoch mit reduzierter Latenz, Speicherbedarf und Energieverbrauch. Ab einer Größe von 3 Milliarden Parametern erreicht BitNet b1.58 eine vergleichbare Leistung zu klassischen Sprachmodellen, bei mehr als doppelt schnellerer Verarbeitung und mehr als 3,5-fach geringerer Speichernutzung.
Die Entwicklung von großen Sprachmodellen wie GPT-4 hat in den letzten Jahren große Fortschritte gemacht, aber der hohe Energie- und Speicherbedarf und die damit verbundenen Kosten stellen nach wie vor eine große Herausforderung für die Umwelt und den breiten Einsatz von KI dar. BitNet b1.58 könnte einen Weg zu schnelleren und effizienteren Netzwerken aufzeigen, der auch von spezieller Hardware profitieren würde. Die Methode muss sich jedoch noch an größeren Modellen bewähren.
Auf der MWC ist KI allgegenwärtig
Auf dem Mobile World Congress (MWC) 2024 stand die Künstliche Intelligenz im Mittelpunkt, besonders On-Device AI, bei der KI-Tools direkt auf dem Gerät statt in der Cloud laufen. Dieser Ansatz bietet Vorteile wie Datenschutz und Offline-Verfügbarkeit. Unternehmen wie ARM und Qualcomm präsentierten unterschiedliche Hardware-Lösungen für On-Device AI. ARM demonstrierte, dass selbst einfache CPU-Kerne in günstigen Smartphones für KI-Berechnungen ausreichen, während Qualcomm auf spezielle Neural Processing Units (NPUs) setzt, die in seinen Prozessoren integriert sind.
Die Deutsche Telekom stellte ein KI-Konzept-Smartphone vor, das Qualcomms Snapdragon 8 Gen 3 und das KI-Interface Natural von Brain.ai nutzt. Die KI soll lokal arbeiten, sodass persönliche Daten nur bei Bedarf in der Cloud landen. On-Device AI wird voraussichtlich in immer mehr Geräten integriert, obwohl sie möglicherweise nicht immer benötigt wird.
Bundeswettbewerb für KI geht in die nächste Runde
Der Bundeswettbewerb Künstliche Intelligenz (BWKI) startet erneut und nimmt ab dem 3. März 2024 Anmeldungen für Projektideen von Schülerinnen und Schülern entgegen. Die Anmeldephase endet am 2. Juni, und die fertigen Projekte müssen bis zum 15. September eingereicht werden. Im Finale, das Mitte November stattfindet, werden die zehn besten Teams in verschiedenen Kategorien ausgezeichnet.
Der BWKI besteht seit 2019 und wird von Forschenden des Tübingen AI Centers initiiert. Die Initiative wird hauptsächlich von der Carl-Zeiss-Stiftung gefördert und ist gemeinnützig. Schüler, die sich für Künstliche Intelligenz interessieren, aber noch nicht am Wettbewerb teilnehmen möchten, können den kostenlosen KI-Kurs des BWKI besuchen, der auch auf eine spätere Teilnahme vorbereiten kann. Schulen, die viele Schülerinnen und Schüler zum Online-Kurs entsenden, haben die Chance, als "KI-Schule des Jahres" ausgezeichnet zu werden.
(igr)
