Software Testing: KI als Tester – So funktioniert LLM-as-a-Judge

Wer KI-Systeme testet, muss Determinismus neu denken. Richard Seidl spricht mit Anupam Krishnamurthy darüber, warum das vertraute Fundament der Testautomatisierung bei LLMs nicht mehr trägt und was stattdessen funktioniert. Anupam Krishnamurthy erklärt, wie man ein RAG-System in seine Bestandteile zerlegt, warum die meisten Fehler im Retrieval stecken und nicht in der Generierung, und was hinter dem Ansatz steckt, ein LLM als Richter über ein anderes urteilen zu lassen. Außerdem zeigt er, wie klassische Testkonzepte wie das Isolieren von Komponenten und kontextspezifisches Vorgehen auch im KI-Testing weiterhelfen, solange man bereit ist, Fragen wie „Was ist eine korrekte Antwort?“ grundsätzlich neu zu stellen.

Richard Seidl

Richard Seidl ist Berater, Speaker und Podcast-Host. Für ihn ist klar: Wer heute exzellente Software kreieren möchte, denkt den Entwicklungsprozess ganzheitlich: Menschen, Kontext, Methoden und Tools. Er hat seine Erfahrungen in acht Fachbüchern veröffentlicht, betreibt erfolgreich zwei Community-Podcasts und ist Beirat der heise-Konferenz betterCode() Testing.

„Die meisten Probleme liegen im Retrieval.“ – Anupam Krishnamurthy

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Anupam Krishnamurthy ist Head of AI Testing bei der TestSolutions GmbH, wo er die Bemühungen des Unternehmens leitet, beim Testen im Zeitalter von KI-gestützter Softwareentwicklung an der Spitze zu bleiben. Er ist Mitgründer der BeyondQuality-Community und Co-Host des dazugehörigen Podcasts. Anupam ist ein Manager, der zum Softwareentwickler wurde – ein bunter Karriereweg, der ihn zu den Grundlagen zurückführte. Er begann als Maschinenbauingenieur, der in Indiens Raumfahrtprogramm Satelliten zusammenbaute, machte einen MBA, arbeitete als Strategieberater und stellte dann fest, dass ihm Programmieren mehr Spaß macht als PowerPoint. Zuvor war er als Test Automation Engineer und als freiberuflicher Berater tätig und half seinen Kunden, qualitativ hochwertige Software schneller auszuliefern. Ursprünglich aus Bangalore, Indien, und mittlerweile in Berlin zu Hause, findet man ihn in seiner Freizeit vertieft in eine Partie Online-Schach, beim Langstreckenlauf mit einem History-Podcast im Ohr oder beim Blues-Spielen auf seiner Akustikgitarre.

Softwarequalität im Gespräch

Dieses Format fokussiert sich auf Softwarequalität: Ob Testautomatisierung, Qualität in agilen Projekten, Testdaten oder Testteams – Richard Seidl und seine Gäste betrachten die Dinge, welche die Qualität in der Softwareentwicklung steigern.

Die aktuelle Episode ist auch auf Richard Seidls Blog verfügbar.

(mai)