KI-Sprachmodell: Claude von Anthropic kann jetzt den Mauszeiger bewegen

Das leistungsfähigste Sprachmodell von Anthropic kann nach einem großen Update nun auch direkt mit einem Computer interagieren und etwa den Mauszeiger bewegen. Das kündigte das KI-Unternehmen in einem Blogeintrag an und ergänzte, dass Claude 3.5 Sonnet überhaupt das erste KI-Modell sei, das dazu in der Lage ist. Außerdem soll es den Inhalt eines Bildschirms erfassen und Buttons drücken können. Die Funktion wird mit dem Update jetzt zuerst für Entwickler und Entwicklerinnen verfügbar gemacht, mit deren Feedback würden die Fähigkeiten rasch verbessert werden, ist man sich bei Anthropic sicher. Die ersten Unternehmen würden damit bereits arbeiten.

In einem Video führt ein Forscher von Anthropic vor, wozu die neue Funktion in der Lage ist. In dem Beispiel soll ein Formular mit verschiedenen Adressdaten ausgefüllt und abgeschickt werden. Die nötigen Daten finden sich auf dem Computer, müssen von dem KI-Modell aber erst einmal gefunden werden. Nachdem die Aufgabe formuliert wurde, sucht die Software auf einem Screenshot des aktuellen Bildschirminhalts, wird aber nicht fündig. Daraufhin wird ein Suchfenster geöffnet und der Suchbegriff eingegeben. Der Fund wird abermals als Screenshot gespeichert und nun das Formular geöffnet. Dort werden nach und nach die erfragten Daten eingegeben, bevor der Button zum Abschicken gedrückt wird.

Bei Anthropic geht man davon aus, dass die neue Funktion in den kommenden Monaten schnell verbessert werden wird. Noch hat sie teils massive Einschränkungen und hat mit Aktionen, die Menschen äußerst leicht fallen, Probleme oder kann sie nicht ausführen. Das liegt auch daran, dass die KI-Technik dafür zahlreiche Screenshots macht, die ausgewertet werden. Schwierig oder unmöglich ist deshalb das Scrollen, Drag und Drop sowie das Zoomen. Wer die Funktion ausprobiert, sollte deshalb erst einmal mit wenig riskanten Aufgaben anfangen, rät Anthropic. Auch weil aus den Statements von Anthropic nicht hervorgeht, was mit diesen Screenshots passiert, sollte die Technik nicht an besonders sensible Aufgaben – etwa Banküberweisungen – gelassen werden. Unklar ist deshalb auch, wie nah die Funktion technisch an Microsofts Recall ist, dem die Screenshots zum Verhängnis wurden. Weil die Nutzung des Computers durch ein KI-Modell auch neue Wege eröffne, um bekannte Gefahren wie Spam, Desinformation oder Betrug auszuführen, werde man proaktiv für eine sichere Verbreitung sorgen.

Auch abgesehen von der neuen Funktion habe man die Leistungsfähigkeit des Modells mit dem Update noch einmal deutlich verbessert, schreibt Anthropic. In verschiedenen Benchmarks wurden demnach teils merklich höhere Werte erreicht. Vor allem für das KI-unterstützte Programmieren bedeute das Update einen signifikanten Sprung nach vorn. Neben Sonnet hat Anthropic außerdem das Modell Haiku verbessert, das kleinste der drei des Unternehmens. Das soll noch in diesem Monat verfügbar gemacht werden und sei weiterhin bestens für Produkte geeignet, mit denen Nutzer und Nutzerinnen direkt interagieren.

Lesen Sie auch

Fünf Sprachmodelle im Vergleich mit ChatGPT

(mho)