c't 1/2024
S. 104
Test & Beratung
ChatGPT mit Sprach- und Bilderkennung
Bild: KI Midjourney | Collage c’t

Trupp der Kopiloten

Wie das neue multimodale ChatGPT bei der Arbeit mit Texten, Bildern und Sprache hilft

ChatGPT kann neuerdings auch Dokumente und Bilder analysieren, gesprochene Anfragen verstehen und mit Sprache, Text und Bildern antworten. Dazu schlüpfen GPTs in die Rolle von spezialisierten Assistenten. Wir fühlen den neuen Funktionen auf den Zahn und zeigen, wo die generative KI hilft und wo sie aufs Glatteis führt.

Von Hartmut Gieselmann

Seit ChatGPT vor gut einem Jahr auf den Markt kam, hat sich viel getan. Die meisten Neuerungen verbergen sich hinter der Bezahlschranke. Wer rund 23 Euro im Monat für ChatGPT Plus bezahlt, erhält Zugang zum Modell GPT-4V (das V steht für Vision). Dieses versteht nicht nur Textchats, sondern auch gesprochene Fragen und analysiert PDF-Dokumente sowie Bilder. ChatGPT antwortet mit gesprochener Sprache, Text, mit generierten PDF-Dokumenten oder Bildern.

Um die multimodalen Fähigkeiten auf einen bestimmten Zweck hin zu trimmen, ist es seit Kurzem auch möglich, eigene GPTs zu erstellen. Dabei handelt es sich um GPT-4-Abkömmlinge mit zusätzlichen Instruktionen. Sie ergänzen das bisherige Plug-in-Konzept, indem sie feste Rollen übernehmen und zusätzliche Dokumente für ihre Antworten auswerten. OpenAI hat die Trainingsdaten inzwischen auf den Stand von April 2023 gebracht. Für aktuellere Informationen durchsucht ChatGPT das Web mit Bing und fasst die Ergebnisse mit Verweisen zusammen.

Alle heise-Magazine mit heise+ lesen

3,99 € / Woche

Ein Abo, alle Magazine: c't, iX, Mac & i, Make & c't Fotografie

  • Alle heise-Magazine im Browser und als PDF
  • Alle exklusiven heise+ Artikel frei zugänglich
  • heise online mit weniger Werbung lesen
  • Vorteilspreis für Magazin-Abonnenten
Jetzt unbegrenzt weiterlesen Vierwöchentliche Abrechnung.

Alle Ausgaben freischalten

2,95 € 0,25 € / Woche

Nach Testphase 2,95 € wtl.

  • Zugriff auf alle c't-Magazine
  • PDF-Ausgaben zum Herunterladen
  • Zugriff in der c't-App für unterwegs
Jetzt testen Nach Testphase jederzeit monatlich kündbar.

Ausgabe einmalig freischalten

5,90 € / Ausgabe

Diese Ausgabe lesen – ohne Abobindung

  • Sicher einkaufen im heise shop
  • Magazin direkt im Browser lesen
  • Dauerhaft als PDF behalten

Kommentieren