KI-Forscher wechselt von Microsoft zu OpenAI

KI-Forscher Sebastien Bubeck verlässt Microsoft und wechselt zu OpenAI. In den vergangenen Monaten hatten sich Meldungen in der Regel andersherum gelesen, zahlreiche Mitarbeiter verließen zuletzt OpenAI und gingen zu den Konkurrenten oder machten sich selbstständig. Microsoft steht immer wieder im Verdacht, sehr viel Einfluss auf OpenAI zu haben. Mehrere Behörden verschiedener Staaten hatten sogar untersucht, ob Microsoft eigentlich OpenAI kontrolliert. Sie kamen bisher jedoch nicht zu diesem Ergebnis.

Durch die Nähe zwischen OpenAI und Microsoft hat Bubeck schon früh und viel Zugang zu den Large Language Models (LLMs) von OpenAI gehabt. Er war an der Implementierung von GPT in Microsofts Suchmaschine Bing beteiligt. Auch alle folgenden LLMs von OpenAI dürfte er sehr genau kennen. Bubeck sieht seinen grundlegenden Fokus auf der Entwicklung einer Artificial General Intelligence (AGI) – wie er selbst auf einem öffentlichen Profil schreibt.

Mit dieser Ausrichtung liegt er ganz auf einer Linie mit den Plänen OpenAIs, die die Entwicklung einer AGI als oberstes Ziel ausgegeben haben. "Wir nennen unseren Ansatz 'Physik der AGI', da wir versuchen, auf verschiedenen Ebenen (Parameter, Neuronen, Neuronengruppen, Schichten, Datencurriculum, ...) aufzudecken, wie die Teile des Systems zusammenkommen, die das erstaunliche und unerwartete Verhalten dieser Modelle erzeugen", schreibt Bubeck selbst.

Arbeiten an kleinen, lokalen Modellen

Über den Wechsel zu OpenAI hatte zuerst The Information berichtet. Bubeck hat zuletzt vor allem an Microsofts Phi-Modellen gearbeitet. Das ist eine Small-Language-Modell-Familie, die unter anderem für Mobilgeräte optimiert ist. OpenAI hatte im Sommer GPT-4o-mini herausgebracht, ihr erstes und bisher einziges Modell, das auf Schnelligkeit und Kosteneffizienz getrimmt wurde. SLMs sind ein Bereich, in dem OpenAI eher Nachholbedarf hat.

Ein zuletzt von Bubeck geteilter Artikel aus dem Magazin nature trägt den Titel: "Forget ChatGPT: why researchers now run small AIs on their laptops" Neben der Größe eines Modells geht es vor allem auch darum, dass diese lokal laufen können, also keine dauerhafte Internetverbindung benötigen. Bubeck wird in dem Artikel zitiert, er erklärt, wie Microsoft Phi-3 trainiert hat. Dafür seien Trainingsaufgaben extra geschaffen worden, dank derer die Antwortqualität deutlich erhöht werden konnte. "Wenn Sie in der Lage sind, einen Datensatz zu erstellen, der sehr reich an diesen Argumentationsmerkmalen ist, dann wird das Signal viel reicher sein."

Dass Bubeck bei OpenAI also weiterhin an kleinen Modellen arbeiten wird, erscheint schlüssig. In den vergangenen Wochen hatten zahlreiche leitende Mitarbeiter von OpenAI das Unternehmen verlassen. Viele sind zu Konkurrent Anthropic gewechselt, manche haben angekündigt, sich selbstständig machen zu wollen. Mitgründer Greg Brockman macht mitten in der so erfolgreichen Zeit ein Sabbatical. Zuletzt war Mira Murati, CTO, gegangen.

(emw)