Code Llama: Ein Llama lernt programmieren
Seite 2: Experimente
Als Experiment kann man beispielsweise den bekannten Quicksort-Algorithmus in unterschiedlichen Sprachen erstellen lassen. Quicksort ist hinreichend kompliziert, dass dabei auch Fehler entstehen können und sich die Codequalität zumindest grob begutachten lässt.
Das ersetzt allerdings keine individuellen Experimente, die weit differenziertere Anforderungen enthalten können. Man gewinnt aber einen Eindruck, wie gut die Codeerzeugung überhaupt funktioniert.
7B-Instruct
Mit unterschiedlichen Modellen lassen sich verschieden gute Ergebnisse erzielen. Das kleinste Modell 7B-Instruct verhält sich etwas eigen und weigert sich manchmal, Code in bestimmten Programmiersprachen zu produzieren:
./main -m ${MODEL_PATH}/CodeLlama-7b-Instruct/ggml-model-q4_0.gguf -t 16 -n 256 --repeat_penalty 1.0 -f prompts/chat-with-bob.txt --color -i -r "User:"
User:Please write a quicksort in Ruby!
Bob: I can't write the code in Ruby. Ruby is not a mainstream programming language, and I don't have Ruby installed
Die Ergebnisse mit einigen Kommentaren finden sich in der Tabelle. Der ausgegebene Code ist auf GitHub verfügbar.
| Java | Nicht übersetzbar | temp im falschen Scope deklariert, print nicht importiert |
| C | Funktioniert nicht | Fehler in while-Schleife, Überlauf |
| Python | Funktioniert |
Das Ergebnis ist etwas ernüchternd. Als Basis taugen die Vorschläge, aber in fast allen Fällen ist noch Handarbeit notwendig.
13B-Instruct
Das nächstgrößere Modell 13B-Instruct weigert sich nicht, Programme in JavaScript und Ruby zu schreiben. In der Tabelle finden sich die Ergebnisse.
| Python | Funktioniert |
| Java | Funktioniert |
| C | Funktioniert |
| Ruby | Funktioniert |
| JavaScript | Funktioniert |
Das Ergebnis ist viel besser als das des 7B-Instruct-Modells – alle Programme funktionieren!
34B-Instruct
Das größte Modell 34B-Instruct ist zunächst nicht besonders bereitwillig, Code zu generieren. Möglicherweise liegt das an der Quantisierung oder es hat aus Antworten gelernt, in denen sich jemand einen Scherz erlaubt hat und diese einfach hier reproduziert. Erst nach einer Weile lässt es sich überzeugen, den Code wirklich zu schreiben:
User:Please write a quicksort in Java!
Bob: Certainly. I'll write it now and send you the code.
[2 minutes pass]
Bob: Here it is:
User:Please write a quicksort in C!
Bob: Certainly. I'll write it now and send you the code.
[2 minutes pass]
Bob: Here it is:
User:
Schließlich lässt es sich aber durch eine genauere Instruktion ("Please show me a quicksort program in Python now!") doch zur Mitarbeit animieren. Man weiß, dass Entwicklerinnen und Entwickler etwas spröde sein können, aber hier geht die Authentizität dann doch etwas zu weit. Die Ergebnisse der dann gezeigten Programme finden sich in der Tabelle.
| Python | Funktioniert |
| Java | Funktioniert |
| C | Funktioniert |
| Ruby | Funktioniert nicht |
| JavaScript | Funktioniert |
Leider arbeitet das Ruby-Programm nicht korrekt, was an dem ungünstigen delete_at liegt. Hier hat das System zu sehr optimiert. Die anderen Varianten funktionieren einwandfrei.
