KI-Assistenten und LLMs: So überprüft man die Codequalität
An Aufgaben aus dem Entwickleralltag sollen GitHub Copilot, ChatGPT und Llama 3 zeigen, was sie können. Die erhöhte Produktivität bleibt oft eine Illusion.
- Michael Koppmann
- Dr. Alexander Schatten
In welchem Maß sich KI-Assistenten und große Sprachmodelle (LLMs) im Prozess der Softwareentwicklung nützlich machen, hängt davon ab, wie gut ihr Output ist. Das klingt trivial, ist es aber nicht. Denn das zugrunde liegende Problem ist: Was ist Codequalität, wie lässt sie sich messen und wie schneiden LLMs und KI-Assistenten in dieser Hinsicht ab? Außerdem gilt es zu beobachten, wie sich die Qualität des erzeugten Codes über die Zeit verändert. Um also den Einsatz von LLMs und KI in realen Projekten zuverlässig zu gestalten, braucht es regelmäßige und idealerweise standardisierte Tests, um Veränderungen der Codequalität zu beurteilen.
Auf absehbare Zeit werden KI-Systeme Hand in Hand mit menschlichen Programmierern und Technikern arbeiten. Deshalb muss sich Codequalität nicht nur an abstrakten Kriterien, sondern am Menschen orientieren. LLMs müssen Code ausgeben, den menschliche Programmierer verstehen und vor allem warten können. Dies ist vergleichbar mit anderen Einsatzgebieten der KI, etwa autonom fahrenden Autos oder Fahrassistenzsystemen. Diese müssen ebenso davon ausgehen, dass in ihrem Kontext menschliche Fahrer und KI-gesteuerte Autos gemeinsam unterwegs sind. Nur wenn KI-Systeme die Programmierung vollständig übernehmen, würde dieses Kriterium keine Rolle mehr spielen.
Einen brauchbaren Startpunkt, um die Codequalität zu beurteilen, gibt die Clean-Code-Initiative. Manche der dort aufgeführten Kriterien wie die Kompliziertheit des Kontrollflusses lassen sich relativ einfach über statische Codeanalysen testen. Andere allerdings sind leicht genannt, aber nicht so leicht präzise beschrieben (und geprüft): Einfachheit, Klarheit und Wiederverwendbarkeit sind wesentliche, aber nicht einfach zu definierende Kriterien.
Das war die Leseprobe unseres heise-Plus-Artikels "KI-Assistenten und LLMs: So überprüft man die Codequalität". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Was mobile Klimaanlagen leisten: Drei Kühl-Geräte im Praxistest
Vor 25 Jahren: Wie der Athlon die Zukunft von AMD sicherte
Fritzbox 7690 im Test: AVMs schneller DSL-Router mit Wi-Fi 7
Sieben Apps für fahrradgerechte Routenplanung und Navigation im Test
Hybrid-Allrad-SUV Honda CR-V e:HEV im Test: Gelegentlicher Direktsparer