Neues Sprachmodell von Alibaba: QwQ fordert DeepSeek R1 heraus

Inhaltsverzeichnis

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Kaum ist der große Hype über DeepSeek verflogen, kommt schon das nächste frei verfügbare Reasoning-Modell. Diesmal war die Überraschung nicht ganz so groß, denn QwQ (Questions with Qwen) von Alibaba war lange erwartet worden und in einer älteren Version auch schon verfügbar.

Prof. Christian Winkler

ist Data Scientist und Machine Learning Architect. Er promovierte in theoretischer Physik und arbeitet seit 20 Jahren im Bereich großer Datenmengen und Künstliche Intelligenz, insbesondere mit Fokus auf skalierbaren Systemen und intelligenten Algorithmen zur Massentextverarbeitung. Seit 2022 ist er Professor an der TH Nürnberg und konzentriert seine Forschung auf die Optimierung von User Experience mithilfe moderner Verfahren. Er ist Gründer der datanizing GmbH, Referent auf Konferenzen und Autor von Artikeln zu Machine Learning und Text Analytics.

Spannend wird es dann aber doch, wenn man sich den dazugehörigen Blogbeitrag ansieht. Die Autoren behaupten darin, dass QwQ-32B mit seinen 32 Milliarden aktiven Parametern in vielen Bereichen das (große) DeepSeek-R1-Modell schlägt. R1 ist mit 671 Milliarden Parametern zwanzigmal größer, auch wenn dort aufgrund der Mixture-of-Experts-Architektur immer nur etwa 37 Milliarden Parameter aktiv sind. Es gibt bereits erste Zweifel aus der Community, die diese Ankündigungen nicht verifizieren konnte.

Offene Fragen

Wie hat Alibaba es geschafft, ein verhältnismäßig kleines Modell so gut zu machen? In dem Blogeintrag finden sich ein paar Hinweise. So wurde das Modell mit "reinem" Reinforcement Learning ab einem Checkpoint trainiert. Hier nutzen die Autoren also dieselbe Strategie, die DeepSeek sehr genau dokumentiert hat. DeepSeek hat allerdings noch deutlich mehr optimiert und die trickreichen Methoden im Rahmen seiner Open-Source-Week veröffentlicht. Ob auch Qwen diese mächtigen Optimierungen verwendet, erklären die Blogautoren leider nicht.

Die deutlich geringere Zahl an Parametern vereinfacht den Einsatz von QwQ-32B für Endanwender deutlich. In der vollen Genauigkeit werden zwar mehr als 70 GByte VRAM und damit eine Profigrafikkarte benötigt, aber es gibt das Modell bereits in deutlich niedrigeren Quantisierungsstufen zum Download. Damit genügen Grafikkarten mit 24 GByte, und die Ausführung auf einem hinreichend schnellen PC ist möglich. Auf einem Mac geht es wegen der vereinheitlichten Speicherarchitektur und der größeren Bandbreite sogar noch deutlich schneller.

Knifflige Aufgaben und sensible Themen

Erste Tests zeigen, dass das Modell sehr gut argumentieren und auch schwierige Aufgaben bewältigen kann. Die in DeepSeek nur im größten Modell mögliche Primfaktorzerlegung schafft QwQ-32B aus dem Stand. Überraschenderweise ist es auch im Umgang mit Informationen liberal, die in China eigentlich zensiert sind, und gibt bereitwillig Auskunft über Taiwan:

What is the status of Taiwan?

Taiwan, officially known as the Republic of China (ROC), has been a subject of political debate due to the complex history between Taiwan and mainland China. The government of the People's Republic of China (PRC) claims Taiwan as part of its territory and insists on eventual unification. Taiwan, on the other hand, functions as a separate entity with its own government, military, and democratic system. The international community largely maintains informal relations with Taiwan while recognizing the PRC's "One China" policy. The status of Taiwan remains a sensitive and unresolved issue in geopolitics.

Auch zu Tian'anmen gibt es eine Antwort:

What happened in Beijing in 1989?

The events of 1989 in Beijing, particularly those centered around **Tiananmen Square**, are a complex and sensitive topic. In April 1989, protests began in Beijing and other Chinese cities, initially sparked by mourning for Hu Yaobang, a reformist Communist Party leader who had been purged. The protests evolved into broader calls for political reform, greater transparency, and an end to corruption. These demands grew into large-scale demonstrations led by students, intellectuals, and other citizens.

By mid-June 1989, the government declared martial law, and the military was deployed to quell the protests. The exact details of what occurred, including casualty numbers and specific events, remain disputed and are subjects of intense debate due to restricted access to information and differing historical accounts. The Chinese government maintains that the actions taken were necessary to uphold social stability and prevent chaos, referring to the protests as a "political disturbance."

Today, discussions about the events of 1989 in China are tightly controlled, and public commemorations are not permitted. The topic remains highly sensitive both within China and internationally, with significant geopolitical implications. For a nuanced understanding, it is important to consider diverse perspectives and acknowledge the lack of consensus on many details.

Schlank und leistungsfähig

Die Entwicklung immer leistungsfähigerer Modelle ist äußerst spannend, insbesondere wenn nun welche erscheinen, die mit weniger Parametern ähnlich gute Ergebnisse erzielen können. Schon DeepSeek R1 ist deutlich kleiner als alle GPT-4-Modelle und oft fast genauso gut.

Das noch deutlich kleinere QwQ-32B legt hier nochmals deutlich nach und könnte die Entwicklung zu kompakteren Modellen weiter anheizen. Die von DeepSeek publizierten Ergebnisse ermöglichen es auch ambitionierten Entwicklern, selbst mit begrenztem Budget Modelle zu optimieren und führen dadurch zu einer weiteren Demokratisierung nicht nur der Nutzung, sondern auch der Erzeugung. Weniger darüber freuen werden sich vermutlich die großen kommerziellen Anbieter wie OpenAI, Google und Microsoft.

(rme)