Drei Fragen und Antworten: So lässt sich ChatGPT bestmöglich nutzen
ChatGPT in eigenen Apps: Das iX-Interview erklärt die Vorteile beim Zugriff über die API und warum auch die älteren OpenAI-Modelle noch ihr Geld wert sind.
(Bild: iX)
Mit dem Release von gpt-3.5-turbo hat ChatGPT Einzug in die API von OpenAI gehalten. Dabei kostet das neueste Modell der amerikanischen KI-Firma deutlich weniger als seine Vorgänger und soll deutlich schneller bessere Antworten liefern. iX sprach mit dem Softwareentwickler Daniel Basler über die Vorteile der API und wie sich ChatGPT von den älteren Modellen abgrenzt.
Welche Vorteile bietet das Ansprechen der GPT-Modelle über die API?
Der Vorteil der API ist das direkte Implementieren der Chat- und Sprach-Modelle in die eigene App oder eigenen Produkte. Für eigene Projekte bieten sich viele Möglichkeiten: Frage- und Antwortsysteme für das Lösen von komplexen Fragestellungen, Sprachsteuerung von Oberflächen oder Code-Unterstützung wie beim Pair Programming sind nur einige Beispiele. Außerdem lässt sich das Modell über die Parameter Temperature, TopP und Frequency- und Presence penality beeinflussen und für die eigenen Zwecke anpassen.
Wie unterscheiden sich die Prompts der bisherigen Modelle von denen, die man an gpt-3.5-turbo sendet?
Ein Prompt ist eine Eingabeaufforderung, also ein Satz oder einzelne Schlüsselwörter, die die Modelle von OpenAI als Eingabe verwenden. Das Modell versucht dann, die Eingabe zu analysieren und generiert automatisch eine Antwort. Bei den bisherigen Modellen ist der Prompt unstrukturierter Text, ChatGPT hingegen verwendet eine Abfolge von Nachrichten zusammen mit Metadaten. Dafür hat OpenAI die Syntax Chat Markup Language (ChatML) entwickelt.
Die Grundidee hinter ChatML ist sicherzustellen, dass die Eingaben des Modells in strukturiertem Format und nicht als unstrukturierter Text gesendet wird. Das soll die sogenannte Prompt Injection, also das Einfügen böswilliger Eingabeaufforderungen, in den Benutzereingaben verhindern. Dabei ermöglichen die Metadaten von ChatML eine bessere Steuerbarkeit der Modellausgaben.
Wie sehr lohnt es sich, über die API noch mit den älteren Modellen wie Davinci, Curie oder Codex zu experimentieren, wenn gpt-3.5.turbo um den Faktor Zehn günstiger ist als diese Modelle?
Die Modelle der älteren Generation behalten ihre Berechtigung. Die Reihe der Codex-Modelle versteht und erzeugt Code durch die Übersetzung von natürlicher Sprache. Das Modell Moderation ist ein fein abgestimmtes Modell, das erkennt, ob ein Text möglicherweise sensibel oder unsicher ist. Alle Modelle lassen sich mit einer entsprechenden Feinabstimmung schnell und effektiv für spezifische Anwendungsfälle nutzen. Durch eine Feinabstimmung kann man die Antwortgeschwindigkeit erhöhen und durch eine verkürzte Antwort auch die Kosten optimieren.
Herr Basler, vielen Dank für die Antworten! Wie man eine erste App mit der API von ChatGPT baut, zeigt dieser Beitrag aus der kommenden iX 04/2023. Das Heft erscheint am 23. März 2023 und erklärt, wie sich ChatGPT am besten benutzen, anpassen und in eigene Anwendungen einbinden lässt.
In der Serie „Drei Fragen und Antworten“ will die iX die heutigen Herausforderungen der IT auf den Punkt bringen – egal ob es sich um den Blick des Anwenders vorm PC, die Sicht des Managers oder den Alltag eines Administrators handelt. Haben Sie Anregungen aus Ihrer tagtäglichen Praxis oder der Ihrer Nutzer? Wessen Tipps zu welchem Thema würden Sie gerne kurz und knackig lesen? Dann schreiben Sie uns gerne oder hinterlassen Sie einen Kommentar im Forum.
(pst)
