Künstliche Allgemeine Intelligenz: OpenAI löst AGI-Beratungsteam auf

OpenAI hat sein "AGI Readiness"-Team aufgelöst, das das Unternehmen bei Themen wie dem internen Umgang mit immer leistungsfähigerer Künstlicher Allgemeiner Intelligenz (Artificial General Intelligence – AGI) und deren Auswirkungen auf die Gesellschaft beraten sollte. Das geht aus einem Bericht von CNBC hervor. Gründe für die Auflösung des Teams nannte OpenAI nicht. Der scheidende Leiter des Teams, Miles Brundage, warnt in einer Stellungnahme, die er über Substack veröffentlicht hat, vor den Gefahren, die von einer AGI ausgehen können.

"Weder OpenAI noch irgendein anderes Frontier Lab ist bereit, und die Welt ist auch nicht bereit", schreibt Brundage in seinem Beitrag.

Dabei bezieht er vor allem Stellung gegen die Bestrebungen OpenAIs, das Unternehmen gewinnorientiert aufzustellen, und dabei weniger auf die Sicherheit bei der Entwicklung einer AGI zu achten.

Reihenweise Abgänge leitender Mitarbeiter

OpenAI hatte bereits im Mai das Superalignment-Team aufgelöst, das sich mit der Beurteilung langfristiger Risiken durch KI beschäftigt hatte. Der damalige Leiter des Teams, Jan Leike, kritisierte schon damals, dass bei OpenAI "die Sicherheitskultur und -prozesse hinter polierten Produkten zurückstehen müssen".

Im September verließen dann drei Führungskräfte das Unternehmen: CTO Mira Murati, Forschungschef Bob McGrew und Forschungs-Vize Barret Zoph. Bereits zuvor verließen der OpenAI-Mitgründer Ilya Sutskever sowie die leitenden Angestellten Andrey Karpathy und John Schulman das Unternehmen, die teils heftige Kritik an der Vorgehensweise von OpenAI-Chef Sam Altman geübt hatten. Ohnehin sah sich Altman bereits im vergangenen Herbst Gegenwind ausgesetzt, der in der kurzzeitigen Absetzung des CEOs wegen Vertrauensverlusts im Aufsichtsrat gipfelte.

Brundage sieht nun ebenfalls eine gefährliche Tendenz darin, dass KI-Unternehmen finanzielle Belange über die Sicherheit bei der Entwicklung einer KI stellen. Dabei kritisiert er unter anderem das Bestreben, dass KI-Unternehmen weniger reguliert werden wollen, um eine Aufsicht zu verhindern. Um jedoch eine sichere AGI zu entwickeln, bedarf es bewusster Entscheidungen von Regierungen, Unternehmen und der Gesellschaft. "Es ist unwahrscheinlich, dass KI so sicher und vorteilhaft wie möglich sein wird, wenn wir uns nicht gemeinsam darum bemühen, sie so zu gestalten", schreibt er.

Brundages Zukunft

Brundage plant, eine gemeinnützige Organisation zu gründen oder einer bestehenden beizutreten, die sich auf KI-Forschung und Lobbyarbeit konzentriert. Die ehemaligen Mitglieder des AGI-Teams sollen andere Aufgaben innerhalb des Unternehmens erhalten, heißt es in der Stellungnahme von Brundage. Viele ehemalige OpenAI-Mitarbeiter sind zu Konkurrent Anthropic gewechselt, die haben sich eine sichere und vertrauensvolle Entwicklung von KI auf die Fahne geschrieben. Ex-CTO Mira Murati sammelt derzeit Geld für ein neues Startup. Auch Ilya Sutskever hat sich selbstständig gemacht – sein Unternehmen heißt Safe Superintelligence.

OpenAI gab an, den Entschluss Brundages zu unterstützen, schreibt CNBC. Das Unternehmen wolle künftig von seiner unabhängigen Arbeit lernen.

Lesen Sie auch

OpenAI erhält frisches Geld von Microsoft, Nvidia & Co

(olb)