Microsofts Copilot für Office ist eine Frechheit | c't 3003

Für 22 Euro im Monat kann man zu Microsofts Office KI-Funktionen hinzubuchen, ganz offiziell. "Copilot für Office 365" heißt das Ganze. Im c't-3003-Test haben wir überprüft, ob man den KI-Kopiloten schon sinnvoll einsetzen kann. (Hier übrigens der Test bei heise+.)

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, ich geb hier in Powerpoint einfach ein, „Erstelle eine Präsentation über Raspberry Pi, Martin Luther und Schokolade.“ Ja, und dann erstellt Powerpoint die Präsentation. So richtig mit animiertem Introvideo und so. Sieht erst mal ok aus, ist inhaltlich aber völlig bescheuert. „Das Trio in Aktion: Projektor“ – hä? Was hat ein Projektor mit den drei Sachen zu tun? Und was hat Martin Luther mit den in einen Berg geschnitzten amerikanischen Präsidenten zu tun? Man weiß es nicht.

Aber: Alle Microsoft-Office-Produkte haben jetzt solche sogenannten Copilot-KI-Funktionen. Wir haben uns die angeguckt und Anwendungsbereiche gesucht, die in der täglichen Arbeit tatsächlich schon sinnvoll sein könnten. Ob wir die gefunden haben? Bleibt dran.

Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei...

Ok, es gibt jetzt KI-Funktionen in Microsoft Office, ich finde, das ist eine einigermaßen große Sache, weil die Microsofts-Office-Software ja nach wie vor der de facto Standard ist, wenn es um Texte schreiben, Präsentationen erstellen oder Tabellenkalkulation geht. Allerdings gibts das Ganze noch nicht automatisch dazu. Sondern das kostet 22 Euro extra im Monat, wenn ihr das zu eurem persönlichen Office-365-Abo dazubucht. Für Business-Accounts kann man das auch dazubuchen, das geht aber offenbar erst, wenn man mindestens 300 Lizenzen kauft, also nur für größere Unternehmen. Und die Copilot-KI-Funktionen kosten dann auch gleich 30 US-Dollar pro Lizenz, also mindestens 108.000 Dollar im Jahr. Muss ja viel Produktivität schaffen, dieses Copilot? Ja, gucken wir uns mal genauer an.

Ich hab’ dafür ein persönliches Office 365-Family-Abo abgeschlossen, das kostet regulär 99 Euro pro Jahr, kann man aber einen Monat lang kostenlos ausprobieren. (Pro-Tipp: Direkt wieder kündigen, dann vergisst man das Abo nicht und kann es nach der Kündigung trotzdem noch einen Monat verwenden.)

Da obendrauf muss man dann Copilot Pro abonnieren, für 22 Euro pro Monat. Erst dann werden diese ganzen KI-Funktionen in den Office-Programmen freigeschaltet. Obendrein bekommt man den Windows-Copilot ja, den gibt es ja auch dann auch noch, ebenfalls als „Pro“-Version.

Am einfachsten aufrufen kann man den mit copilot.microsoft.com, und da seht ihr das mal im Vergleich. Hier links ohne Abo, rechts mit. Ja, ihr seht da steht Copilot Pro. Und der Unterschied ist ganz klar die Geschwindigkeit, und zwar bei allen der drei Optionen kreativ, ausgewogen oder genau. Bei “Kreativ” kann man mit Copilot Pro auch GPT4 Turbo zuschalten. Das ist dann richtig schnell.

So, aber dieses Video soll ja nicht um den Windows-Copilot gehen, sondern um Office-Copilot. Und den kriegt ihr, also wenn ihr das 22-Euro-Copilot-Pro-Abo abgeschlossen habt, auf jeden safe in den Browser-Varianten der Office-Programme, also unter office.com. Das geht dann auch auf Macs oder Linux-Rechner.

Eigentlich sollten die KI-Funktionen auch mit den Standalone-Software-Varianten unter Windows funktionieren, also wenn ihr im Windows-Startmenü ganz normal Word aufruft. Die Standalone-Versionen sind übrigens die, die, wenn man auf „Datei“ geht, hier oben rechts so ein komisches Gewuschel anzeigen – und ich denk dann immer, da ist was kaputt, aber das soll tatsächlich Dekoration sein, nämlich „Wolken“. Man kann auch noch andere „Dekorationen“ einstellen. Ja, also 1997 hat angerufen und will seine Fenster-Deko zurück.

Ja, und während das jetzt nur ein optisches Problem ist mit diesen kruscheligen Wolken, gibt es leider auch handfestere Probleme mit Standalone-Office und Copilot. Wir haben auf mehreren Rechnern richtig fiese Probleme damit gehabt. Es gibt ja zwei unterschiedliche Microsoft-Account-Gattungen, einmal persönliche Accounts und einmal Business- und Schul- bzw. Uni-Accounts. Es ist ja auch immer noch so, dass es für diese beiden Account-Gattungen unterschiedliche Teams-Clients gibt, also unangenehm kompliziert und nervig. Das Ding ist, wenn euer Windows irgendwie mit einem Business- oder Schulaccount in Kontakt gekommen seid, ist die Wahrscheinlichkeit hoch, dass Office seine Lizenz da herholen will. Das ist aber doof, weil wir ja das Copilot-Pro-Abo auf unserem persönlichen Account und darüber auch das Office-Family-Abo gebucht haben. Ja, und zumindest wir haben auf mehreren Testrechnern das Problem gehabt, dass wir das nicht einfach umschalten konnten. Ich musste also Windows 11 komplett neu installieren, damit sich Office die richtige Lizenz zieht, damit Copilot läuft. Also, seid gewarnt, wenn ihr das ausprobieren wollt und ihr auf dem System irgendwo einen Business-Microsoft-Account laufen habt. Übrigens: Die Cloud-Versionen klappen problemlos mit Copilot, nur eben die Standalone-Versionen machen da Stress.

So, jetzt läuft hier aber alles und fangen wir mal mit Word an. Dass Copilot aktiv ist, seht ihr, wenn unter „Start“ hier rechts so ein blaues “Copilot”-Icon zu sehen ist.

Und zusätzlich, wenn ihr ein neues Dokument in Word anfangt, ist so ein Icon neben dem Cursor. Könnt ihr dann direkt nutzen, um Text zu generieren. Also tipp ich mal ein, „schreib ein Gedicht“. Copilot fängt dann an, direkt in Word was reinzuschreiben; sogar mit einer Überschrift, mit größerem Text, also es gibt auch automatische Formatierungen. Man kann dann in diesem Feld hier Änderungswünsche reinschreiben; und dann anschließend hiermit zwischen den unterschiedlichen Varianten hin- und herschalten. Da hat sich Microsoft ziemlich offensichtlich von Adobe Photoshop inspirieren lassen, da sieht dieser KI-Balken fast genauso aus und funktioniert auch so.

Naja. Leider ist inhaltlich das Ganze oft nicht so, wie man das haben will. Hier habe ich zum Beispiel gesagt, dass sich das Gedicht reimen soll. Ja, reimt sich aber auch danach gar nicht. Und hier als ich das nochmal probiert habe, gibt es zumindest ein paar Reime: Magen, angeschlagen, Kakaobaum, Traum; aber Goethe ist das nicht. Sobald man dann „Beibehalten“ geklickt hat, sind die einzelnen Textfassungen zum Durchklicken dann auch weg.

Wenn man den Block wieder markiert und dann aufs “Copilot”-Icon geht, gibt es nur die Möglichkeiten: „Umschreiben“ und “Als Tabelle visualisieren”. Ich kann also nicht mehr, wie ganz am Anfang konkrete Wünsche eintippen, sondern einfach nur noch total unkonkret „Umschreiben“ lassen. Wenn ich das mache, ja, dann wird das halt irgendwie umgeschrieben und danach kann ich nochmal zwischen „Neutral“, „professionell“, „Informell“, „Prägnant“ und „Phantasievoll“ wählen. Und das geht dann aber oft nicht. Da kommt dann so eine Fehlermeldung, wenn man da draufklickt. Probiert man exakt das gleiche nochmal, dann gehts dann manchmal doch. Bzw. so halb, also hier hat er ja erst nach dem halben Text abgebrochen. Aber das hat sich wirklich durch unsere Tests gezogen, dass Word ständig irgendwas nicht machen wollte.

Richtig absurd ist dieses “Als Tabelle visualisieren”. Also das kann in sehr seltenen Fällen sinnvoll sein, aber oft weigert sich Copilot auch hier einfach, wenn man das klickt, oder es kommt sowas raus. Das ist übrigens der Absatz, den ich hier gerade erzählt habe. „Feature Copilot“, „Feature umschreiben“, Vorteile, Nachteile, hä? Also das ergibt einfach keinen Sinn.

Wenn man nicht mit dem Text so direkt interagieren will, kann man statt dem Icon im Textfeld auch hier oben auf das große Copilot-Icon klicken. Dann klappt sich das hier so rechts auf. Und dann kann man eher so ganzheitlich mit dem Text interagieren. Also hier habe ich mir zum Beispiel mal dieses Skript zusammenfassen lassen.

Das dauert immer ein bisschen, zumindest kann man kann während Copilot da rechts rumrödelt, links weiterarbeiten. Aber zuverlässig arbeitet dieser Ausklapp-Copilot auch nicht. Zum Beispiel sagt er hier irgendwas von einer Verlosung. Das steht aber gar nicht im Text, das war in einer alten Fassung, die ich längst gelöscht habe. Der Assistent laggt also. Wirft man was mit Copy-Paste ins Textfeld, und will sofort die Zusammenfassung haben, geht das oft nicht. Man muss dann erst unbestimmte Zeit warten, bis Copilot den Text registriert.

Was man mit diesem Ausklapp-Copilot auch machen können soll: Ganzheitliche Änderungen am Text machen. Aber zum Beispiel, wenn ich eingebe: Mach mal immer die Zahl „3003“ in Fett, dann kommt da nur so ein komischer halb englischer Mischmasch, wie man Word selbst dazu bringt, das zu tun. Also eher so eine Karl-Klammer-artige Hilfefunktion. Dabei will man ja, dass der Copilot die Sachen selbst umsetzt. Aber das klappt wirklich nur sehr selten. Das doofe ist auch, dass man nicht weiß: Kann der das jetzt generell nicht, oder prompte ich nur ungenau und muss das anders formulieren? Hmm.

Was auf jeden Fall gut klappt: Wenn man sehr schlampig formuliert, also sowas wie: „Dann ist die Frau da in dieses Geschäft gegangen und hat da rumgeguckt und dann hat sie einen Gürtel gekauft der hat sie an ihren Bruder erinnert als sie drei Jahre alt war und dann war sie bisschen traurig und dann sie sich ein Kuchen gekauft weil das hilft manchma, wenn man traurig ist wegen Zucker und dann ging es schon wieder und dann ist sie mit dem Fahrrad zur Arbeit gefahren mit Fahrstuhl.“

Also stilistisch sehr schlecht.

Da habe ich dann einfach in der Seitenleiste gebeten: Schreibe das so um, dass es sich literarischer liest. Und ja, das funktioniert. „Die Frau betrat das Geschäft und ließ ihren Blick schweifen“. Also definitiv besser, aber das hätte man auch kostenlos haben können mit ChatGPT oder Bing Chat oder Google Gemini.

Was aber wirklich nur mit Copilot geht: Automatische Präsentationen mit Powerpoint. Ich hab hier im Word-Copilot gesagt: „Kannst du aus dem Text mit der Frau eine Präsentation machen“ und dann gab es so eine Text-Zusammenfassung, was auf den einzelnen Folien zu sehen sein soll.

Leider arbeitet der Copilot aber nicht Software-übergreifend, das heißt, man muss erst Powerpoint starten und dann im Powerpoint-Copilot sagen: Erstelle eine Präsentation und dann den von Word-Copilot erstellten Text da reinpasten.

Und da kommt dann das hier raus:

Die Geschichte einer Frau

Gürtelkauf

Kuchengenuss

Fahrradfahrt

Und das ist tatsächlich einigermaßen beeindruckend, weil das wirklich aussieht, wie so eine echte Powerpoint-Präsentation. Die Bilder hat sich der Copilot übrigens aus der Powerpoint-eigenen Stock-Foto-Datenbank geholt, die sind nicht KI-generiert.

Ja, und ich hab dann etliche solcher Präsentationen machen lassen. Zum Beispiel eine mit den seltsamsten und ungewöhnlichsten Attraktionen in Hannover. Am Ende waren das leider einfach die Standard-Touristenattraktionen; vor allem haben aber die Bilder mal so gar nicht gepasst. Also das Luftbild auf der Startfolie war ok, das ist wirklich Hannover, aber alle anderen, hmm. Ich hab das Gleiche mal mit New York City versucht, vielleicht ist Microsoft da irgendwie näher dran; und ja, die Attraktionen sind auf jeden Fall ungewöhnlicher, aber a) einige existieren nicht oder nicht mehr wie das KGB-Museum. Und b) sind auch hier die Bilder völlig falsch, der Leuchtturm von Jeffreys Hook sieht nicht so aus, sondern so.

Also, ich muss sagen, dass ich diese Funktion eigentlich theoretisch sehr praktisch finde, weil ich manchmal Powerpoint-Präsentationen bauen muss und mir das wenig Spaß macht. Ich denke eher in Text als in Bild und würde das deshalb gut finden, wenn ich das, was ich in der Präsentation sagen will, in Word aufschreibe und der Copilot macht mir da dann ‘ne Präse draus. Mit Bildern und allem. Nur leider war das bei unseren Tests oft so unzuverlässig, dass es zumindest für mich noch keinen Sinn ergibt.

Ich hab zum Beispiel dieses Skript hier von diesem Video mal als Präsentation zusammenfassen lassen, das sieht dann so aus: Also erstmal ist da jegliche Kritik nicht mehr da, die ja zweifellos im Skript drinsteckt. Und: Da stehen Sachen, die ich definitiv nicht ins Skript geschrieben habe. Also „Die KI kann dabei helfen, barrierefreie Dokumente zu erstellen“. Oder auch „Copilot ist auf monatlicher und jährlicher Basis verfügbar“. Das mag stimmen, aber das steht nicht im Skript. Und generell ist diese Präsentation so oberflächlich, die hat null mit meinem Text zu tun.

Aber vielleicht rechtfertigt ja Excel die 22 Euro im Monat. Spoiler: Nein. Das Ding ist erstmal komplett Englisch, man kann also nicht in Deutsch prompten. Und es spuckte bei mir hier einfach immer nur Fehlermeldungen aus. Das Einzige, was ich hinbekommen habe: Diese Tabelle grafisch umzugestalten. Aber sonst leider gar nix. Und Excel wäre jetzt das, wo ich mir eine KI wünschen würde, weil ich kein Excel-Profi bin und da sehr oft an meine Grenzen stoße. Ich würde da gerne einfach sagen: Addiere mal bitte alle Zahlen hier, rechne das dann von Dollar in Euro um und schreib mir da das Ergebnis hin. Aber leider klappte das noch nicht.

Ja, apropos klappte nicht: Auch in Outlook soll der Copilot Pro helfen, nämlich Mails zusammenfassen, aber bei mir fehlte da einfach der Copilot-Button, das konnte ich also auch nicht testen.

Mein Fazit

Ganz ehrlich: Copilot Pro für Office ist in der aktuellen Fassung eine Frechheit. Wir sprechen hier ja nicht von einem kleinen Startup, was ein bisschen mit KI frickelt, sondern wir sprechen hier von einem der größten Unternehmen der Welt, das ein Produkt für 22 Euro im Monat verkauft, das bestenfalls eine frühe Beta ist.

Angefangen bei den Problemen, die auftreten, wenn man ein berufliches Microsoft-Konto auf dem System nutzt, bis hin zu dem komischen Deutsch-Englisch-Sprachmischmasch und natürlich den vielen inhaltlichen Fehlern, die der Copilot macht. Und klar, aktuelle KI-Technik mit großen Sprachmodellen neigt grundsätzlich zu Halluzinationen, aber es ist technisch auf jeden Fall auch heute schon möglich, einen kurzen Text zusammenzufassen, ohne da irgendwelche Inhalte reinzuhalluzinieren, die da nicht drinstehen. Das geht.

Also, das Produkt, was Stand heute existiert, ist meines Erachtens noch nicht sinnvoll zu gebrauchen; bzw. kann man die sinnvollen Dinge auch mit kostenlosen Angeboten hinbekommen, zum Beispiel einen schlecht formulierten Text umschreiben. Aber: In der Idee, Office über KI zu nutzen, steckt unheimlich viel Potenzial. Also alleine, aus ‘nem Text in Word eine Powerpoint-Präsentation machen zu können. Oder Excel mit natürlicher Sprache statt mit Formeln zu bedienen. Ich traue Microsoft das zu, dass sie das irgendwann hinkommen; und dann können sie von mir aus auch fürs Abo kassieren, aber heute? Schwierig.

Und auch, wenn ich einige Dinge durchaus praktisch finde, ist diese Welle der computergenerierten Inhalte natürlich auch problematisch. Also, ich bin froh, dass ich kein Lehrer bin. Die Einzige generierte Powerpoint-Präsentation, die inhaltlich nicht total doof war, war eine typische Schulaufgabe: „Erstelle eine Präsentation über die Figur des Tambourmajor in Woyzeck“ – das war ok.

Also, was passiert eigentlich, wenn diese KI-Sachen einfach Standardfunktion in Office werden? Mich nerven jetzt schon KI-generierte Texte und Bilder, das wird bestimmt nicht besser in Zukunft; und das Datenschutz-Fass mach ich mal gar nicht auf. Naja, vielleicht gibt’s ja auch eine Renaissance des Handgemachten, wer weiß? Wie seht ihr das? Gerne in die Kommentare schreiben! Und natürlich diesen Channel und den 3003-Hype-Newsletter abonnieren! Link ist in der Beschreibung! Tschüss!

---

c't 3003 ist der YouTube-Channel von c't. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen und Lukas Rumpler sowie die Video-Producer Şahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)