KI-Update kompakt: OpenAI, Abacus Embeddings, Energiehunger, AI Doomer
Das "KI-Update" liefert werktäglich eine Zusammenfassung der wichtigsten KI-Entwicklungen.
- Isabel GrĂĽnewald
- The Decoder
"RĂĽcksichtslos": Neue Kritik am Umgang von OpenAI & Co. mit Sicherheitsbedenken
Ehemalige und aktuelle Mitarbeiter von OpenAI und Googles Deepmind warnen in einem offenen Brief vor den Risiken der KI-Entwicklung und fordern mehr Transparenz und Kritikfähigkeit. Die 13 Unterzeichner, darunter sechs anonyme OpenAI-Angestellte, verlangen, dass Sicherheitsbedenken ohne Angst vor Konsequenzen geäußert werden können, nachdem interne Versuche gescheitert sind. OpenAI steht bereits wegen der Auflösung seines Superalignment-Teams und prominenten Abgängen in der Kritik.
Der Brief verfestigt den Eindruck einer Branche, die Risiken zugunsten von Profit und Wachstum ignoriert. Laut einem ehemaligen OpenAI-Forscher ist das Unternehmen "rĂĽcksichtslos" in seinem Bestreben, als Erstes eine Superintelligenz zu entwickeln. OpenAI betont hingegen, stolz auf seine Bilanz bei der Bereitstellung sicherer KI-Systeme zu sein und den wissenschaftlichen Ansatz zur Risikovermeidung zu unterstĂĽtzen.
Laut CEO Sam Altman hat OpenAI genug Trainingsdaten für die nächste KI-Generation
OpenAI-CEO Sam Altman betont in einem Interview die Bedeutung qualitativ hochwertiger Daten für das Training von KI-Modellen, unabhängig davon, ob es sich um von Menschen erzeugte oder synthetische Daten handelt. Er sieht kein Problem darin, dass zu viele KI-generierte Daten ein System korrumpieren könnten. Derzeit verfüge OpenAI über genügend Daten, um die nächste Iteration nach GPT-4 zu trainieren.
Das Unternehmen experimentiert mit der Generierung großer Mengen synthetischer Daten, um verschiedene KI-Trainingstechniken zu erforschen. Die Kernfrage sei jedoch, wie KI-Systeme aus weniger Daten mehr lernen können, anstatt einfach riesige Datenmengen zu generieren. Altman räumt ein, dass noch viel wissenschaftlicher Fortschritt nötig ist, um die am besten geeigneten Daten und Techniken für immer leistungsfähigere KI-Systeme zu finden. Seine Aussagen passen zum Vorgehen von OpenAI, das in den vergangenen Monaten Hunderte Millionen in die Lizenzierung von Trainingsdaten großer Verlage investiert hat.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
"Abacus Embeddings" verbessern Rechenfähigkeiten von KI-Sprachmodellen
Ein internationales Forscherteam hat eine neue Methode namens "Abacus-Positionseinbettungen" entwickelt, die KI-Sprachmodellen hilft, die Position einzelner Ziffern in langen Zahlen besser zu erfassen und so deutlich längere und komplexere Additionsaufgaben zu lösen. Mit Abacus konnten auf 20-stellige Zahlen trainierte Modelle bis zu 120-stellige Additionen nahezu fehlerfrei lösen – eine Generalisierung um den Faktor 6. In Kombination mit speziellen Netzwerkarchitekturen sank die Fehlerrate auf nur 0,9 %.
Der Ansatz ließ sich auch erfolgreich auf Multiplikation und Sortieren von Zahlenreihen übertragen. Die Forscher hoffen, dass ihre Methode den Weg für weitere Verbesserungen beim mathematischen Verständnis von Sprachmodellen ebnet. Aufgrund begrenzter Rechenkapazitäten konnten sie den Ansatz aber noch nicht mit natürlicher Sprache testen. Hier seien weitere Untersuchungen nötig, um das volle Potenzial von Abacus auch in gemischten Anwendungsszenarien zu erschließen.
ChatGPT instabil – was User nach Behebung tun müssen
ChatGPT, OpenAIs populärer Chatbot, ist derzeit von Ausfällen und Störungen betroffen. Laut OpenAI handelt es sich um eine "major outage", von der alle Nutzer unabhängig vom Abonnement betroffen sind, lediglich Nutzer der API scheinen verschont zu bleiben. OpenAI berichtet, das Problem inzwischen behoben zu haben, es kommt aber in unseren Tests immer noch zu Verzögerungen und Fehlern.
Als Workaround empfiehlt OpenAI einen Hardreset in Browsern, etwa mittels Strg + F5 unter Windows und Linux oder Strg + Feststelltaste + R bzw. Strg + Option + R auf dem Mac. Unter Android und iOS sollte der Browser-Cache geleert werden. Angaben zur Ursache der Ausfälle macht OpenAI nicht. Das Unternehmen veröffentlichte aber eine Statistik, der zufolge ChatGPT in den letzten 90 Tagen zu 99,41 Prozent verfügbar war, die API sogar zu 99,93 Prozent.
Elon Musk verschiebt tausende KI-Beschleuniger Nvidias von Tesla zu X und xAI
Tesla hatte bei Nvidia Tausende KI-Beschleuniger für das Training von KI für Robotik und autonomes Fahren bestellt. Doch laut internen E-Mails bei Nvidia hat Elon Musk diese Bestellungen zu seinem Kurznachrichtendienst X (vormals Twitter) und seinem KI-Startup xAI umgeleitet. Tesla-Investoren kritisieren dies als Verzögerung der KI-Entwicklung des Autoherstellers, da KI-Chips aufgrund hoher Nachfrage lange Lieferzeiten haben.
Musk erklärt die Umleitung damit, dass bei Tesla das für die Chips vorgesehene Rechenzentrum noch nicht fertig sei und die GPUs sonst nur im Lager lägen. Er präzisiert auch seine ursprüngliche Aussage, Tesla werde 2024 rund 10 Milliarden US-Dollar in KI investieren: Dies umfasse neben dem Einkauf bei Nvidia auch interne Investitionen wie selbst entwickelte KI-Hardware. Laut Musk wird Tesla dieses Jahr für drei bis vier Milliarden Dollar bei Nvidia einkaufen.
Atomantrieb fĂĽr energiehungrige KI-Server
Der wachsende Stromverbrauch von Rechenzentren, insbesondere durch KI-Beschleuniger, veranlasst große Betreiber dazu, sich die Versorgung durch direkte Verträge mit Erzeugern zu sichern. Amazon Web Services (AWS) kaufte ein Rechenzentrum neben einem Kernkraftwerk in Pennsylvania, das 960 Megawatt Leistung von dort bezieht. Auch Google, Microsoft und Amazon schlossen langfristige Stromlieferverträge mit dem Versorger Duke Energy, der elf Atomkraftwerke betreibt.
Die Großkunden wollen mit dem Versorger Spezialtarife entwickeln, um künftig mehr CO₂-freien Strom zu erzeugen, auch durch eigene Anlagen. Branchenkenner befürchten jedoch, dass solche Verträge zu Knappheit und Preissteigerungen für andere Kunden führen könnten, wenn es an Erzeugungs-, Übertragungs- oder Speicherkapazitäten mangelt. In den USA wird viel Strom aus Fracking-Gas erzeugt, das relativ billig ist. Einige Anlageberater erwarten, dass der KI-Boom die Profite von Gaskraftwerken und -erzeugern steigern wird.
"AI-Doomer" warnen vor existenziellen KI-Gefahren – und richten damit selbst Schaden an
Die KI-Forscher Yann LeCun und François Chollet kritisieren pessimistische Prognosen über die Gefahren der KI, die viele Menschen dazu verleiten, an eine unausweichliche Katastrophe zu glauben und Depressionen und Ängste zu entwickeln, anstatt nach Lösungen zu suchen. LeCun bezeichnet die "AI Doomer", die vor apokalyptischen Szenarien warnen, als "apokalyptische Kulte". Seiner Meinung nach führen die Prophezeiungen dazu, dass sich viele Menschen hilflos fühlen und aufgeben, während nur eine kleine Anzahl radikaler, aber gut finanzierter Pessimisten unpraktikable Maßnahmen wie eine Verlangsamung des Wachstums oder eine Pause des Fortschritts fordern.
Chollet sieht sowohl den "AI Doomerism" als auch den "Singularitarianism" als eschatologische Kulte, die normale Menschen zu irrsinnigen Überzeugungen und Verhaltensweisen wie der Aufgabe langfristiger Lebensplanung verleiten. Betroffene berichten in einem Discord-Thread von monatelanger Trauer, Panik und Depression aufgrund apokalyptischer Warnungen. Ein Teilnehmer merkt jedoch an, dass es sich nur um Expertenmeinungen handelt und Experten sich ständig irren.
(igr)
