Drei Fragen und Antworten: Eigene Coding-Assistenten trainieren und nutzen
Bildgeneratoren sind nett – in der harten Entwicklerpraxis sind gerade aber Code-Assistenten der KI-Hype. Sie sollte man möglichst selbst trainieren.
(Bild: iX)
Zwischen dem Wirbel und dem tatsächlichen Einsatz von KI-Tools tut sich ein weiter Graben auf. Dabei gibt es in manchen Bereichen bereits praktische Werkzeuge, die den Alltag von zum Beispiel Entwicklern deutlich verbessern können – allen voran Code-Assistenten. Wie man solche selbst trainiert, erklärt Roman Wartala im Interview.
KI-Training ist aufwendig. Warum sollten Unternehmen das selbst anpacken, statt sich einfach das fertige Modell aus der Cloud zu buchen?
Es gibt eine Reihe von Daten, die Unternehmen nicht einfach so an Dritte herausgeben wollen. Quellcodes unternehmenskritischer Anwendungen gehören bei einigen Unternehmen dazu. Wenn man den eigenen Quellcode aber im Rahmen von Code-Assistenten nutzen möchte, führt kein Weg an Open-Source-Modellen und dem eigenen Feintuning vorbei.
Was unterscheidet das Training von Code-Assistenten von dem anderer KI-Anwendungen?
Code-Assistenten gehören zu den großen Sprachmodellen. Aktuell unterscheidet sich die Architektur dieser LLMs nicht wesentlich von der anderer Transformer-Modelle. Beim Training gibt es ein paar Dinge zu berücksichtigen. So kommt bei Code-Assistenten häufig der Anwendungsfall von fill-in-the-middle vor, zum Beispiel, wenn man Parameter innerhalb einer Funktion erzeugen möchte. Dann muss der Tokenizer verstehen, welcher Teil des Quellcodes für die Vorhersage mit einbezogen werden soll und welcher nicht.
Beim Programmieren gibt es ja viele bewährte Hilfen – auch ohne KI. An welchen Stellen können Entwickler denn deutliche Verbesserungen im Alltag erwarten?
Seitdem IDEs Quellcodes automatisch vervollständigen können, nutzt kaum noch ein Entwickler Editoren ohne diese Funktion. Code-Assistenten mit großen Sprachmodellen sind ein weiterer, logischer Schritt in eine geführte Codeerzeugung. Hier verschiebt sich einfach der Fokus von Funktionsnamen, die man vervollständigt, zu ganzen Programmblöcken oder Scafolds, die erzeugt werden können.
Bei der Codegenerierung muss noch lange nicht Schluss sein. Tools wie OpenAIs Code Interpreter oder auch das quelloffene Open Interpreter zeigen, wie eine geführte Softwareentwicklung aussehen kann. Agenten und Tools wie Modal Labs devlooper zeigen, wie sich die Entwicklung mit großen Sprachmodellen noch weiter automatisieren lässt.
Ramon, vielen Dank für die Antworten! Alle Informationen zu Code-Assistenten finden Leser im Artikel auf heise+ sowie in der neuen iX 10/2023, die ab sofort erhältlich ist.
In der Serie "Drei Fragen und Antworten" will die iX die heutigen Herausforderungen der IT auf den Punkt bringen – egal ob es sich um den Blick des Anwenders vorm PC, die Sicht des Managers oder den Alltag eines Administrators handelt. Haben Sie Anregungen aus Ihrer tagtäglichen Praxis oder der Ihrer Nutzer? Wessen Tipps zu welchem Thema würden Sie gerne kurz und knackig lesen? Dann schreiben Sie uns gerne oder hinterlassen Sie einen Kommentar im Forum.
(fo)
