Testgetriebenes Prompt Engineering mit promptfoo
Nimmt man Prompt Engineering als Teil der Softwareentwicklung ernst, führt kein Weg an automatisierten Tests vorbei. Das Werkzeug promptfoo stellt die Mittel dafür bereit.
Ähnlich wie Unit-Tests in der Softwareentwicklung dabei helfen, verschiedene Programmfunktionen sicher abzudecken, können automatisierbare Tests im Prompt Engineering Sicherheit über das gewünschte Antwortverhalten einer auf generativer KI basierten Anwendung geben. Denn Sprachmodelle entwickeln sich schnell weiter und speziell bei LLMs aus der Cloud ist das Antwortverhalten oft nicht reproduzierbar. So können sich Antworten über die Zeit ändern, wenn die Anbieter neue Versionen veröffentlichen.
Manchmal antworten Modelle auch unterschiedlich, da sie mithilfe von Mixture of Experts (MoE) selbst eine Antwort aus mehreren wählen. Oft ist es auch nötig, das Antwortverhalten verschiedener Modelle systematisch zu prüfen.