KubeCon EU 2026: Solo.io bringt Observability für KI-Agenten-Workflows

Solo.io hat im Rahmen der KubeCon EU 2026 mit agentevals ein Open-Source-Werkzeug vorgestellt, das die Qualität von KI-Agenten messbar machen soll. Aus dem Bereich der LLMs (Large Language Models) kennt man den Vergleich von Eingabe und Ausgabe. Doch dieser Ansatz genügt bei Agenten nicht, denn sie greifen auf weitere Werkzeuge, Informationssysteme oder sogar andere KI-Komponenten zurück. Wie gut und effektiv ist die Schleife von Aufrufen? Das umfasst die Daten, die hin- und herfließen, aber auch die Auswahl der externen Instanzen und deren Anzahl.

Mastering Observability 2026

Mehr zu Observability bietet die Online-Konferenz Mastering Observability von iX und dpunkt.verlag am 16. April 2026. Die Konferenz widmet sich unter anderem den Herausforderungen automatisierter Observability für KI- und agentenbasierte Systeme.

Agenten evaluieren, bevor sie in Produktion gehen

Für diese Auswertung macht sich agentevals bereits bekannte Methoden aus dem Machine Learning zunutze und verwendet vorhandene Telemetriedaten. Außerdem können Anwender eigene Metriken definieren und Schwellenwerte festlegen. Letzteres bezeichnet das Projekt als „Golden Eval Sets“.

Damit lassen sich Agenten evaluieren, bevor sie in Produktion gehen. Tut die Software, was sie soll? Arbeitet sie kosteneffizient und mit den richtigen Mitteln? Agentenbasierte KI arbeitet konstruktionsbedingt nicht deterministisch – gleiche Eingaben können also unterschiedliche Ergebnisse liefern. Agentevals soll einen Teil dieser Vorhersagbarkeit wiederherstellen. Am einfachsten gelingt die Integration über OpenTelemetry, ein offenes Observability-Framework für verteilte Systeme. Hier lassen sich entsprechende Agenten ohne Codeänderung anweisen, ihre Telemetriedaten an die agentevals-Plattform zu schicken. Ebenso lassen sich historische Daten auswerten. Ein bereits entsprechend dokumentierter Agentenlauf lässt sich im Nachhinein mit agentevals inspizieren. Dafür bietet das Werkzeug eine webbasierte Oberfläche und einen Kommandozeilenzugang.

Zusammen mit agentevals hat Solo.io bereits vier Projekte im Bereich der KI-Agent-Infrastruktur veröffentlicht. Im Gespräch mit heise erklärte Keith Babo, Vice President, Product bei Solo.io, dass jedes Mal dieselbe Motivation dahinterstand. Die Frage lautete jeweils: Welche Lücke im Ökosystem der KI-Agenten muss dringend geschlossen werden? Den Anfang machte kagent. Das Framework ermöglicht es, KI-Agenten nativ in Kubernetes – der weitverbreiteten Container-Orchestrierungsplattform – zu betreiben. Danach folgte agentgateway, eine Data Plane – also die Komponente, die den eigentlichen Datenverkehr verarbeitet – für KI-Agenten beziehungsweise deren Plattform. Sie unterstützt unter anderem die Protokolle MCP (Model Context Protocol) und A2A (Agent-to-Agent). Mit agentregistry lassen sich KI-Artefakte zentral verwalten und auditieren.

Projekte unter dem Dach der CNCF und Linux Foundation

Auf der KubeCon EU 2026 in Amsterdam übergab Solo.io agentregistry an die CNCF (Cloud Native Computing Foundation) und findet dort mit kagent sogar schon einen Bekannten; agentgateway liegt bei der Linux Foundation. Offen ist, welcher Foundation agentevals zugeordnet wird – und welche Lücke Solo.io als Nächstes schließen will.

Keith Sabo vermutet, dass im nächsten Schritt MCP und dessen breiterer Einsatz in den Fokus rücken. Konkret: Wie lassen sich bestehende REST-APIs in die Welt von KI und Model Context Protocol überführen? Eine 1:1-Abbildung funktioniert dabei nicht. Alles von Grund auf neu zu entwickeln, ist aber oft ebenfalls keine Option. Es bleibt abzuwarten, ob Solo.io dieses Thema als Nächstes angeht.

(map)