KI-Entwicklung: Testgetriebenes Prompt Engineering mit promptfoo

Inhaltsverzeichnis

Ähnlich wie Unit-Tests in der Softwareentwicklung dabei helfen, verschiedene Programmfunktionen sicher abzudecken, können automatisierbare Tests im Prompt Engineering Sicherheit über das gewünschte Antwortverhalten einer auf generativer KI basierten Anwendung geben. Denn Sprachmodelle entwickeln sich schnell weiter und speziell bei LLMs aus der Cloud ist das Antwortverhalten oft nicht reproduzierbar. So können sich Antworten über die Zeit ändern, wenn die Anbieter neue Versionen veröffentlichen.

Mehr zu Tools

• KI-Entwicklung: Testgetriebenes Prompt Engineering mit promptfoo
• Wie Sie mit Datawrapper kostenlos Daten visualisieren
• Den eigenen Standortverlauf aufzeichnen und anzeigen – ohne Google
• Screenrecorder im Test: Camtasia 2024 im Abo mit KI-Transkription
• Videokonverter: FFmpeg mit Hardwarebeschleunigung installieren und nutzen
• Ansible für Windows: Wie Sie Control Node einrichten

Manchmal antworten Modelle auch unterschiedlich, da sie mithilfe von Mixture of Experts (MoE) selbst eine Antwort aus mehreren wählen. Oft ist es auch nötig, das Antwortverhalten verschiedener Modelle systematisch zu prüfen.

iX-tract

• Mit der freien Software promptfoo können Entwickler generativer KI-Anwendungen die Ausgabe ihrer eigenen Prompts automatisch testen, um die Qualität und Reproduzierbarkeit der Ergebnisse sicherzustellen.
• promptfoo hat eine niedrige Einstiegshürde, erlaubt es aber, auch sehr komplexe Tests deklarativ in YAML zu erstellen und mit Python- oder JavaScript-Code zu integrieren.
• Eine große Auswahl an unterstützten LLMs und Assertion-Typen ermöglicht den flexiblen und modularen Einsatz.
• promptfoo lässt sich nahtlos in CI/CD-Pipelines integrieren.

Natürlich lassen sich Prompts und deren Ergebnisse auch innerhalb eigener Skripte oder Notebooks evaluieren. Frameworks wie LangChain oder LlamaIndex liefern dafür die nötige Abstraktionsschicht für die APIs der verschiedenen großen Sprachmodelle. Möchte man Prompts und LLMs aber im Team, vielleicht mit Kollegen testen, die kein JavaScript oder Python können, wird schnell der Ruf nach einer Pipelineintegration laut.

Das war die Leseprobe unseres heise-Plus-Artikels "KI-Entwicklung: Testgetriebenes Prompt Engineering mit promptfoo". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.