Cloudflare gibt KI-Agenten ein Langzeitgedächtnis
Cloudflare will mit Agent Memory dem Kontextverfall bei langen Prompts in KI-Agenten verbeugen. Entwickler können so auch Kosten sparen.
(Bild: Cloudflare)
Cloudflare hat mit Agent Memory einen Dienst vorgestellt, der KI-Agenten ein dauerhaftes Gedächtnis verleihen soll. Anstatt alle nötigen Informationen immer wieder als Kontext mitzugeben – was einen hohen Tokenverbrauch verursacht –, sollen KI-Agenten mit Agent Memory eigenständig relevante Informationen auswählen und in ihren Prompts an die Sprachmodelle verwenden. Der Dienst steht zunächst nur in einer geschlossenen Beta-Version zur Verfügung.
Agent Memory soll Context Rot vorbeugen
Neben den potenziellen Kosteneinsparungen für Entwickler, die aus dem geringeren Tokenverbrauch folgen, will der US-Anbieter mit Agent Memory auch dem sogenannten Kontextverfall entgegenwirken. Lange Prompts verschlechtern zunehmend die Geschwindigkeit und Zuverlässigkeit von Antworten eines KI-Modells. Dabei gehen Informationen vom Anfang einer Konversation verloren, die nicht mehr in das Kontextfenster des jeweiligen Modells passen.
Laut einem Post im Cloudflare-Blog soll sich Agent Memory als persistente Speicherebene für lokal und in der Cloud gehostete KI-Agenten einsetzen lassen. Zudem können Entwickler den Dienst in Koordinations-Frameworks für mehrere Agenten einbinden, um den darin enthaltenen Agenten einen dauerhaften Speicher über Sessions und Neustarts hinweg zu bieten. Ebenfalls lassen sich Speicherprofile gemeinsam verwenden, sodass Informationen nur einmal an einen KI-Agenten übermittelt werden müssen und sich danach von mehreren Agenten nutzen und erweitern lassen.
Informationen in Entwicklungsteams teilen und erweitern
Als möglichen Einsatzzweck für Agent Memory nennt Cloudflare die Einbindung in Coding-Agenten eines Entwicklungsteams. Initial können Entwickler grundlegende Informationen eingeben, die für alle Agenten wichtig sind, beispielsweise interne Konventionen oder Architekturentscheidungen. Danach nutzen und erweitern alle angebundenen Agenten diese Informationen.
Außerdem lässt sich der Dienst zur agentischen Code-Review einsetzen – er soll sich merken können, was die Entwickler zurückweisen. Mit diesen Informationen soll der KI-Agent sein Feedback zum Programmcode anpassen und relevantere Hinweise geben können. Auch in einfachen Chatbots lässt sich Agent Memory einbinden, um den Nachrichtenverlauf zu speichern und bei Nachfrage darauf zurückgreifen zu können.
Zugriff über Cloudflare Workers und API
Agent Memory unterscheidet bei den Informationen zwischen unveränderlichen Fakten, Events früherer Zeitpunkte, aktuellen Aufgaben und Anweisungen wie Arbeitsabläufen oder Runbooks. Der Dienst aktualisiert eigenständig veraltete Informationen und löscht Duplikate. Zugriffe auf die Informationen erfolgen über eine Anbindung an Cloudflare Workers oder eine REST-API.
Videos by heise
Die Schnittstelle bietet fünf Kernoperationen: ingest für die Massenverarbeitung von Konversationen, remember für explizites Speichern, recall für synthetisierte Abfragen sowie list und forget für Verwaltung und Löschung. Um die gesamte API-Oberfläche abzubilden, veröffentlichte Cloudflare zuletzt mit cf ein einheitliches Kommandozeilen-Tool. Mit ihm sollen Entwickler alle Dienste des Anbieters über ein zentrales Werkzeug steuern und von KI-Agenten nutzen lassen können.
Eine Anmeldung zur geschlossenen Beta von Agent Memory ist aktuell nicht möglich, eine Warteliste steht aber bereit. Der Zeitpunkt für die allgemeine Verfügbarkeit ist bislang nicht bekannt.
(sfe)
