Spitzenforscher zum AI Act: "Überregulierung birgt Sicherheitsrisiko für die EU"

Inhaltsverzeichnis

(This article also exists in English.)

Führende Forschungsinstitute, Wissenschaftler und Wirtschaftsvertreter fordern in einem offenen Brief an das EU-Parlament, den Entwurf der KI-Verordnung (AI Act, kurz AIA) mit Blick auf außenpolitische Sicherheit und ökonomische Wettbewerbsfähigkeit nachzubessern. Werde KI in der Europäischen Union zu stark reguliert, stünden die Freiheit der Forschung und die digitale Resilienz auf dem Spiel. China, Russland und die USA würden sich nicht im gleichen Maße selbst beschränken. Über die Hintergründe der Petition hat Heise mit zwei LAION-Gründern gesprochen und mit dem Tübinger Professor Bernhard Schölkopf, Leiter des Max-Planck-Instituts für Intelligente Systeme sowie Vorsitzender des paneuropäischen KI-Exzellenz-Netzwerks ELLIS (European Laboratory for Learning and Intelligent Systems).

Der offene Brief regt die Schaffung einer KI-Aufsicht an und erneuert die Forderung nach europäischen KI-Forschungseinrichtungen aus öffentlicher Hand, die mit genügend großen, für europäische KI-Forscher zugänglichen Supercomputern ausgestattet sind. Ein Beispiel dafür wäre ein "multizentrischer KI-Leuchtturm" nach Art des EMBL (European Molecular Biology Laboratory) in Heidelberg, wofür das Forschungsnetzwerk ELLIS sich einsetzt. Das Erstellen eines KI-Systems der Größe von GPT-4 würde nach aktuellem Stand der Technik eine starke Maschine an einem Ort brauchen und ließe sich nicht auf mehrere Standorte verteilen, erklärte Dr. Jenia Jitsev, wissenschaftlicher Leiter von LAION und Mitarbeiter am Forschungszentrum Jülich:

Der Engpass dabei sind die Geschwindigkeit und die Latenzen in den Verbindungen zwischen den Nodes. Jeder Standort eines Superrechenzentrums bräuchte eine "kritische Masse", gab Professor Schölkopf zu bedenken. Es sei unwahrscheinlich, dass die EU-Länder sich rasch auf einen gemeinsamen Standort einigen würden. Damit nicht ein einzelnes Projekt die einzig vorhandene Einrichtung für mehrere Monate belegt, brauche es mehrere Rechencluster der Größenordnung von Leonardo.

KI-Superrechner: zentral oder dezentral?

Nur bei einer Maschine, die lokal mit einem besonders schnellen Netzwerk (etwa InfiniBand mit mindestens 200 Gigabyte pro Sekunde und sehr niedriger Latenz, 100 Nanosekunden per Hop) betrieben wird, lässt sich das Training großer Modelle verlässlich gewährleisten. Sobald es um die Kommunikation nach draußen – außerhalb einer Maschine – geht, würde das Training um ein Vielfaches langsamer und ließe sich so nicht mehr in vernünftiger Zeit abschließen. Insbesondere die Latenz würde den Prozess um mehrere Größenordnungen verlangsamen.

Schätzungen zum Training von GPT-4

Schätzungen nach wurde GPT-4 für mehrere Wochen auf etwa 25.000 A100-GPUs (Graphic Processing Units) von NVIDIA trainiert, die in einer zentralen Maschine untergebracht waren. Würde man dasselbe verteilt ausführen auf 5x 5 Maschinen zu je 5.000 A100-Grafikkarten, würde das Training um mindestens eine Größenordnung langsamer und entsprechend mindestens mehrere Monate oder gar über ein Jahr dauern. Interessant wäre, zu wissen, wie OpenAI das Training durchgeführt hat: Insidern zufolge soll Microsoft OpenAI "einen wesentlichen Teil der Azure-Cloud" zur Verfügung gestellt haben. Allerdings sitzen die Rechenzentren dieser Cloud auch nicht nur an einem Standort.

Absehbar ist Dr. Jenia Jitsev zufolge, dass diese "Cloud"-Hardware so etwas wie Compute Nodes sind, die in einem Zentrum untergebracht sind und untereinander lokale InfiniBand-Verbindungen haben. "Anders würde es einfach in der Zeit nicht gehen, das zu trainieren", ergänzte Jitsev gegenüber Heise. Bei Stability bestehe der Supercomputer auch aus den Compute Nodes in der AWS Cloud – allerdings haben auch diese InfiniBand-Verbindungen zueinander mit sehr hoher Bandbreite und niedriger Latenz. Konkret bedeutet das, dass all diese Compute Nodes im gleichen Zentrum untergebracht sind. Bei Amazon Web Services komme lediglich eine etwas andere Technik zum Einsatz, Elastic Fabric Adapter (EFA) – das sei deren Version von InfiniBand. InfiniBand werde von der Firma Mellanox für HPC-Rechenzentren vertrieben.

Teure Spezialhardware beschaffen und betreiben

Wer solche Experimente durchführen will, käme nicht also umhin, ein Rechenzentrum zu errichten, das solch eine Maschine beherbergt und entsprechend pflegt. Man kann es als Stück nötiger Hardware sehen. Die Analogie zum CERN kommt dabei in den Sinn, wenn es zunächst um das Beschaffen und Betreiben solch teurer Spezialhardware geht.

Anschließend würde es jedoch flexibel: Sobald sichergestellt ist, dass es eine solche Maschine gibt (die idealerweise bis zu 100.000 GPUs enthält, damit mehrere Gruppen parallel ihre großen Experimente fahren können), lassen sich Zugang und gemeinsame Arbeit darauf dezentral verwalten. Die Forschungsgruppen sollten sich einerseits unkompliziert um Rechenzeit bewerben, wie bei einem gewöhnlichen Rechenzentrum, und andererseits sollten es priorisierte Großprojekte geben, innerhalb derer man gemeinsam an sehr großen Modellen arbeitet.

Vorbild BigScience

Ein Vorbild könnte die Initiative BigScience sein, die für ihre Zwecke (zum Training von BLOOM) die Jean-Zay-Maschine in Paris in Betrieb nahm. Die Maschine ist zwar an einem Ort platziert, die Arbeit wurde allerdings von vielen verschiedenen Forschungsgruppen arbeitsteilig erledigt, die allesamt dazu Zugang hatten.

Cybersecurity und AI Safety

Alle Unterzeichner und Unterzeichnerinnen bekennen sich grundsätzlich zu Regulierung, bitten dabei jedoch um Verhältnismäßigkeit und sachgerechte Differenzierung. Quelloffene KI-Forschung sei grundlegend für Sicherheit und Wettbewerbsfähigkeit: Unabhängige Sicherheitsforscher könnten nur so rasch Schwachstellen finden und Risiken minimieren. Aber Sicherheit geht hier über Security im Sinne von Exploits hinaus, es geht auch um AI Safety im Sinne sicherer KI-Modelle (etwa gegen negative Nutzung, Hassrede und unerwünschten Output).

Open Source bringe Transparenz und eine Beteiligung der Scientific Community mit sich, was für die Security wichtig ist. Im Bereich KI selbst ermöglicht öffentliche Forschung, negative Nutzung von KI zu kontrollieren und zu vermeiden, erläuterte Bernhard Schölkopf. Eine Einheitsregulierung, die Open-Source-Ansätze im Bereich der sogenannten Allzweck-KI behindere, stehe Transparenz und Sicherheit von KI-Systemen im Weg.

Forschungsfreiheit und Sicherheit

Europäische Forschung und Entwicklung wäre dann langfristig abgehängt, mit erheblichen Folgen für Wirtschaft und Forschung. Auch ein politisches Sicherheitsrisiko ergebe sich daraus. Für Unternehmen entstünden zudem massive Abhängigkeiten als Endnutzer etwa US-amerikanischer APIs. Daten und Wertschöpfung flössen aus der EU ab – und selbst, wenn die Server innerhalb der EU stünden, sei die hiesige Industrie in dem Fall vom Wohlwollen einiger ausländischer Firmen anderer Rechtsräume abhängig. Der offene Brief spricht von einem "Point of No Return" – also einem Zeitpunkt, ab dem Europa zum reinen Abnehmer der Technologien degradiert sei, wenn die eigene Entwicklung nicht Schritt halte. Europa könne es sich nicht leisten, auf Souveränität bei der Grundlagentechnik KI zu verzichten.

War im ersten Entwurf des AI Act zunächst eine Ausnahme für Forschung und Open Source vorgesehen, so führte er in überarbeiteter Fassung die unklare Kategorie "General Purpose AI" ein (Allzweck-KI), ohne zwischen den Anwendungsbereichen und Anbietern zu unterscheiden. Insbesondere mit der Definition von General Purpose AI (Allzweck-KI) sind die Forscherinnen und Unternehmer, die den offenen Brief unterstützen, merklich unzufrieden. Der Brief an die Abgeordneten des Europäischen Parlaments stammt aus der Feder des gemeinnützigen Vereins LAION e.V. (Large-Scale Artificial Intelligence Open Network). Laut Jenia Jitsev, dem wissenschaftlichen Leiter von LAION und Mitarbeiter am Forschungszentrum Jülich, sei unklar, was mit General Purpose AI gemeint ist. General Purpose AI sei in der Forschungsgemeinde kein geklärter Begriff: Ein Großteil heutiger KI-Anwendungen, wie etwa existierende Systeme zur Bildanalyse und Sprachmodellierung, sei bereits laut der Definition des EU AI Act als allgemein anzusehen.

General Purpose AI – eine schwammige Kategorie

Interessant ist, wie es überhaupt zu der Kategorie General Purpose AI kam. Dem Informatiklehrer und LAION-Mitgründer Christoph Schuhmann zufolge hatte der bekannte MIT-Physiker Max Tegmark sich für strenge Regulierung eingesetzt. Tegmark gilt als charismatisch, intelligent – und als Vertreter eines besonders pessimistischen Blicks auf die Zukunft von Menschheit und KI. Die Haltung ist als AI Doomerism bekannt, und hier spielt die Weltanschauung des "Longtermism" eine Rolle – eine auf den langfristigen Erhalt der Menschheit ausgelegte Bewegung, die davon ausgeht, dass zum Erreichen langfristiger Ziele in etwa 100.000 Jahren auch Nachteile für die Menschen der Gegenwart in Kauf zu nehmen seien.

Diesem pessimistischen Weltbild zufolge könnte eine aus dem Ruder laufende KI-Entwicklung die Welt in Chaos versenken. Zu den bekannteren Anhängern des Longtermism und AI Doomerism gehören etwa Superreiche wie Elon Musk und der Investor Jaan Tallinn. Wer mehr dazu wissen möchte, findet einen ausführlichen Essay über Longtermism im Internetportal Aeon.

Tegmark zählt zu den Gründern des Future of Life Institute, das in einem kontrovers diskutierten offenen Brief ein Moratorium für KI-Entwicklung großer Systeme wie GPT-4 anregte. In Europa soll er sich als Lobbyist betätigt und der EU konkrete Vorschläge gemacht haben, die teils Eingang in das gesetzgeberische Verfahren fanden: Am 21. März 2022 hielt Tegmark bei einem Hearing zum AI Act im EU-Parlament einen KI-Vortrag, die Folien sind öffentlich abrufbar.

So stammt etwa die Einteilung von KI in General Purpose AI und engere Aufgabenkategorien von ihm sowie auch der diskutierte Vorschlag, Allzweck-KI in die Hochrisikoklasse einzustufen. Zumindest das von Tegmark und dem Future of Life Institute geprägte Vokabular hielt Einzug in eine Entwurfsstufe des AI Act.

Reißerische Rhetorik: die KI-Debatte versachlichen

Bernhard Schölkopf zufolge ist die aktuelle Diskussion über KI zu aufgeheizt. Im Gespräch regte er an, die Auseinandersetzung lieber zu versachlichen. Begrifflichkeiten wie AGI (Artificial General Intelligence) oder gottgleiche KI fänden durch die Medien unverhältnismäßige Verstärkung, seien aber nicht hilfreich, um zu verstehen, worum es der Sache nach geht. Die meisten großen Modelle seien weiterhin Transformer, eine seit fünf Jahren bekannte Architektur. Die wesentliche Frage sei, wie groß und divers das Trainingsset ist. Auf wissenschaftlicher Seite ist das Anliegen der Forschung, den Diskurs zu versachlichen, zu präzisieren und zu beruhigen.

Auch laut Jenia Jitsev brauche es nicht unbedingt die "Evil Adversaries" wie etwa aggressiv agierende Staaten als Szenario, um den Sinn und Zweck transparenter KI-Forschung für die Sicherheit zu begreifen. Open Source ermögliche es oft erst, wissenschaftliche Studien an KI-Systemen so durchzuführen: von offenen Daten bis zum offenen Quellcode für das Training und die Inferenz und den offen verfügbaren, vortrainierten Modellen. Wichtig sei, dass aus öffentlicher Hand große Mengen an Rechenkraft für solche Studien zur Verfügung gestellt werden – insbesondere für die Grundlagenforschung und das Training von "Foundation Models''. Aus Ressourcenmangel finde großskalige KI-Forschung in Europa derzeit kaum statt. Dabei könnten speziell dafür trainierte Basismodelle auch als grundlegendes Werkzeug für KI-Sicherheit (AI Safety) und Prävention eingesetzt werden, die sich zur Untersuchung anderer Systeme heranziehen lassen.

KI im Dienste der KI-Sicherheit

Wenn man an Open Source Foundation Models arbeitet, so wird eines der Ergebnisse ein Basismodell für AI Safety sein. Damit ist ein Modell gemeint, das fähig ist, andere Modelle zu analysieren und nach Sicherheitskriterien zu überprüfen. Oft ist die Rede von Gefahren für die Sicherheit durch KI-Modell, kaum davon, dass es KI-Modelle geben kann, die uns dabei helfen, Sicherheit anderer Modelle zu bewerten, Gefahren rechtzeitig erkennen und ihnen vorzubeugen.

So könnten also KI-Modelle als Werkzeug zum Lösen von Sicherheitsproblemen beitragen – indem sie durch ihre mächtigen Funktionen der Mustererkennung Sicherheitsprobleme lösen, genauso wie sie jetzt etwa die Bilderkennung beherrschen.

Die bestehenden öffentlich geförderten Hochleistungsrechenzentren reichen ihm zufolge "vorne und hinten nicht", auch wenn prinzipiell jedes Projekt einen Antrag stellen dürfe. Und es reiche auch nicht, 25.000 GPUs anzustreben, um eine Größenordnung umzusetzen, mit der schätzungsweise GPT-4 erstellt worden ist. Solch ein Supercomputer allein würde bereits an die 2 Milliarden Euro kosten, ergänzte Christoph Schuhmann. Um vorn dabei zu sein, müssten schon jetzt Größenordnungen in Richtung 100.000 GPUs das Ziel sein, als Planung für die kommenden Jahre.

Wirtschaft und Open Source: Rentiert sich das?

Hardware-Ressourcen in solcher Größenordnung sind enorm kostspielig, daher stellt sich die Frage nach der Wertschöpfung und Wirtschaftlichkeit. Auf die Frage, wer die nötigen Ausgaben schultern soll und wie sich aus dem rein auf Open Source ausgelegten Ansatz ein Vorteil für die Wirtschaft ergeben solle, verwiesen die LAION-Gesprächspartner darauf, dass Schlüsseltechnologien wie chatGPT und GPT 4 viele Auswirkungen auf die europäische Wirtschaft haben werden, die heute noch gar nicht abzusehen sind. So sind sie überzeugt, dass es ähnliche Effekte wie bei Linux geben wird, wo heutzutage sehr viele Firmen von der Open Source Software profitieren und ihre Weiterentwicklung finanzieren. Initial müssten in der EU und in den Nationalstaaten die Steuerzahler für die Forschung und Anregung der Wirtschaft aufkommen. Dadurch ergäben sich "für ganze Branchen vorteilhafte Momente", so Jitsev.

Laut Schuhmann sei es illusorisch, Foundation-Modelle zu trainieren und zu glauben, dass man das ins Training gesteckte Geld etwa durch eine Closed-Source-API wieder einspielen könnte. Die Kosten für Rechenleistung und Mitarbeitergehälter seien insgesamt einfach so hoch, dass es unabhängig von Closed oder Open Source unrealistisch sei, das Geld jemals wieder einzuspielen – ob die Aussage auch für die US-amerikanischen Hyperscaler mit global etabliertem Plattformangebot gültig ist, ließ er offen.

Der Vorteil von Open Source sei die schnellere Adoption in der Community, der bessere Ruf, und es funktioniere einfach besser, weil mehr Leute daran mitwirken. Dem gilt es zu entgegnen, dass es in der Open-Source-Welt durchaus schon zu schwerwiegenden Ausfällen gekommen ist (Log4J) oder vereinzelt Projekte zusammenbrechen, wenn sie an wenigen Maintainern hängen, die sich den Betrieb nicht mehr leisten können oder sie aus anderen Gründen wie Lizenzproblemen wegbrechen (etwa hier: "Ruby on Rails: Durch Lizenzproblem entfallene Library erzeugt Dominoeffekt"). Open Source allein ist in den Augen der Redaktion kein Allheilmittel.

Langfristige Dienstleistungen, Inferenz und Finetuning

Befragt nach möglichen Geschäftsmodellen nannte Schuhmann langfristige Dienstleistungen, Inferenzservices für Unternehmen, End-User und Nationalstaaten sowie Finetunings. Wohl heiße für LAION selbst Open Source "gratis", allerdings sei die LAION-Position "nicht militant". Open Source werde als "fruchtbarer Boden für industrielle Projekte" gesehen, und laut Jitsev kämen permissive Lizenzen infrage, die auch das Erstellen einer Closed-Source-Variante nicht ausschlössen, solange das Fundament quelloffen bleibe. Der Erfolg von Linux-basierten Ökosystemen könnte als Vorbild der erfolgreichen Symbiose von Open Source und Industrie dienen, meint Jitsev. Womit Firmen dann Geld verdienten, seien die Anpassung der Modelle an schwierige Spezialfälle und das Training auf kundeneigenen Daten.

Die Kunden könnten durch die generische Open-Source-Variante vorab ausgiebig testen, und das Vertrauen in das offene Grundmodell durch die ausgiebige Nutzung durch eine breite Community sei von Vorteil. Das Geschäftsmodell der Zukunft stellt Christoph Schuhmann sich so vor, dass KI-Start-ups künftig Open-Source-Modelle produzieren. Dafür sollten sie öffentliche Unterstützung erhalten durch die Politik oder andere große Firmen. Anschließend könnten sie eigenes Geld erwirtschaften durch Services und Know-how rings um die Nutzung und Anpassung der Modelle. Letztlich entscheide auf der Seite der Kunden und Unternehmen die Qualität und nicht die Frage, ob etwas Closed oder Open Source sei.

Gegenwärtig finde viel Duplikation statt und an vielen Stellen werde "mit ähnlichen Trainingsdaten Energie verbraten, weil die trainierten Modelle nicht verfügbar sind", gab Schölkopf zu bedenken. Das jüngst in Hessen eröffnete neue Superrechenzentrum sei für KI zwar klein, aber ein guter Schritt nach vorn. Bei OpenAI wisse man nicht genau, wo die Modelle trainiert werden. Auf die Frage, wo das gewünschte Superrechencluster stehen solle, antworteten die Forscher, dass günstige Kühlung, verfügbare Energie und eher kühle Temperaturen wichtig seien. DeepL beispielsweise habe ein großes Rechenzentrum in Island, auch andere Länder kommen infrage.

Sicherheit und Transparenz von KI-Anwendungen erhöhen

Zusammenfassend geht es bei der Petition um digitale Resilienz und Sicherheit in der EU laut den Briefunterzeichnern. LAION und den Forschern zufolge seien Open-Source-KI und -Modelle sowie quelloffene Datensätze und Trainingsdaten "die realistischste Möglichkeit, um die Sicherheit und Transparenz von KI-Anwendungen zu erhöhen". Führende Vertreter der Forschung und Wirtschaft stünden hinter der Petition, die am 28. April 2023 an etwa neun Mitglieder des Europäischen Parlaments geschickt wurde.

Generell begrüßen die Autoren und Unterstützerinnen der Petition das Einstufen etwa von Social Scoring und Gesichtserkennung als Hochrisiko, auch der Umgang mit Verzerrungen (Biases) und wie Algorithmen funktionieren, seien wichtige Anliegen der gesetzgeberischen Klärung. Chatbots und Medienapps zum Herstellen von Texten, Bildern und Musik oder KI-unterstützte Suchfunktionen hingegen, die allesamt in die neue Kategorie General Purpose AI fallen, könnten hier zu stark eingeschränkt werden. Aktuelle Berichte aus Brüssel deuten an, dass hier wohl auf den letzten Metern ein Umdenken stattfindet.

Neben Bernhard Schölkopf und ELLIS zählen namhafte Forscher wie Jürgen Schmidhuber und Sepp Hochreiter (Pioniere der frühen KI-Forschung) zu den Unterstützern, Professorinnen und Forscher europäischer Universitäten und Forschungseinrichtungen sowie einer kanadischen Universität haben die Petition unterzeichnet (darunter etwa Irina Rish aus Montréal, Kristian Kersting von der TU Darmstadt und hessian.AI und Robin Rombach, der Stable Diffusion mitentwickelt hatte). Auch Wirtschaftstreibende unterstützen die Anliegen: So zählt der KI-Bundesverband, in dem rund 400 deutsche Wirtschaftsunternehmen organisiert sind, zu den Unterzeichnern. Ein Blogeintrag mit dem Link zum offenen Brief an das EU-Parlament findet sich auf der Website von LAION.

(sih)