OpenAI APIs: GPT-3.5-turbo und GPT-4 bekommen Functions und werden günstiger
GPT-3.5-turbo und GPT-4 werden merklich günstiger und können dank Funktionen mehr. Bis zu 20 Textseiten können künftig verarbeitet werden.
(Bild: Ebru-Omer/Shutterstock.com)
OpenAI veröffentlicht Updates für die APIs seiner Sprachmodelle GPT-3.5-turbo und GPT-4, die auch hinter ChatGPT und Microsofts Bing stecken. Dazu gehört, dass mehr Text verarbeitet werden kann. Außerdem wird die Nutzung des Embedding-Modells drastisch günstiger und auch GPT-3.5-turbo kostet bis zu 25 Prozent weniger. Dabei betont OpenAI, dass sich hinsichtlich der Sicherheit nichts ändert. Eingegebene Daten werden weiterhin nicht für das Training der Modelle genutzt. Das ist für Unternehmen wichtig, die OpenAIs KI-Dienste in ihre Produkte via API integrieren.
Sprachmodelle ähneln grundsätzlich einer automatischen Satzvervollständigung, die auf Wahrscheinlichkeiten beruht. Das macht sie für bestimmte Aufgaben nahezu unbrauchbar. Nun gibt es zwei Wege, dem zu entgegnen. Zum einen bietet OpenAI die Möglichkeit, Plugins einzubinden. Dadurch kann ein Sprachmodell auf die dortigen Informationen und Vorgaben eingehen und sie nutzen. Neu ist nun, dass Entwickler den Modellen beibringen können, auf bestimmte Funktionen über die Schnittstellen oder externe Tools zurückzugreifen. Die Informationen werden via JSON ausgetauscht.
Sprachmodell kann verschiedene Aufgaben trennen und ausführen
OpenAI nimmt als Beispiel im Blog: "Schreibe Anya eine E-Mail, mit der Frage, ob sie Freitag einen Kaffee trinken möchte." Es stecken mehrere Aufgaben in dem Satz. Nun kann man der API mitteilen, dass es eine Funktion zum Senden von E-Mails gibt send_email() und die braucht eine Angabe für to und für body. Wenn man dann im Laufe der Konversation mit dem Chatbot etwas schreibt, woraufhin der Chatbot meint, dass er eine E-Mail verschicken soll, antwortet er nicht mit einer Chat-Antwort, sondern mit einer Info, dass er meint, jetzt die send_email()-Funktion aufrufen zu wollen.
Natürliche Sprache kann in einen API-Call umgesetzt werden. "Wer sind meine zehn besten Kunden diesen Monat?" sieht dann entsprechend wie folgt aus: get_customers_by_revenue(start_date: string, end_date: string, limit: int). Eine weitere neue Funktion ist die Extraktion aus Text, beispielsweise die Namen, Geburtstage, Standorte und mehr. All das ist als neue API Parameter im /v1/chat/completions-Endpunkt, in functions und dem function_call verfügbar. Funktionen der Entwickler holen sich also Informationen und können das Ergebnis an die API zurückgeben. Neben den Plugins ist das also eine weitere Möglichkeit, den Umfang an Nutzung von ChatGPT deutlich zu erweitern.
Kosten für die Nutzung reduzieren sich
GPT-4 ist als neue Version verfügbar und wird für mehr Menschen geöffnet. OpenAI hofft, in den kommenden Wochen die Warteliste komplett abschaffen zu können. Das neue Modell kann deutlich längere Texte verarbeiten. Das gilt auch für das neue GPT-3.5-turbo-16k, das die vierfache Kontextlänge bei einem doppelten Preis anbietet. 1000 Input-Tokens kosten 0,003 US-Dollar, 1000 Output-Tokens liegen bei einem Preis von 0,004 US-Dollar. "16.000 Kontext bedeutet, das Modell kann nun ungefähr 20 Seiten Text mit einer einzelnen Abfrage verarbeiten."
Das Update wirkt sich ausschließlich auf zahlende Kunden aus, die die API nutzen. Es ist ab sofort verfügbar, die meisten Modelle werden automatisch am 27. Juni aktualisiert. Wer weiterhin ein älteres Modell nutzen möchte, kann dies festlegen, allerdings ist mit dem 13. September Schluss.
Das text-embedding-ada-002 ist laut OpenAI ihr beliebtestes Model. Es wird 75 Prozent günstiger: 1000 Token kosten 0,0001 US-Dollar. GPT-3.5-turbo und GPT-4 stecken hinter ChatGPT, je nach Version, und werden von Millionen Menschen genutzt, auch über Drittanbieter-Anwendungen. Input-Tokens werden für sie 25 Prozent günstiger: 0,0015 US-Dollar pro 1000 Token, 1000 ausgegebene Tokens liegen bei 0,002 US-Dollar. Um eine Vorstellung der Menge zu bekommen, 700 Seiten kosten etwa einen US-Dollar. Heise Online sind laut Tokenizer 4 Tokens. Das erweiterte Model GPT-3.5-turbo-16k kostet in der Nutzung 0,003 US-Dollar pro 1000 Input-Token und 0,004 US-Dollar für 1000 Tokens, die herauskommen. Begründet werden die Preissenkungen mit mehr Effizienz der Sprachmodelle.
(emw)