Ich habe gerade eine Programmier-Prüfung (2. Semester) mit "open Internet" abgenommen. Dabei zeigt sich, dass Studenten die auf LLMs setzen in der Mehrheit schlechtere Lösungen liefern, da LLMs nicht mit Details umgehen können die auch nur etwas unerwartet sind. Halluzinationen hatte ich in den Antworten zum Glück keine, aber eben Dinge die nicht der Aufgabenstellung entsprachen. Gleichzeitig gibt es eine kleine Gruppe von Studenten die LLMs nur für Teile der Aufgaben einsetzen und dann gezielt fragen, aber die Gesamtaufgabe selber lösen. Diese Studenten sind deutlich besser und liefern nur sehr wenig unsinnige Antworten, anders als die erste Gruppe. Und schliesslich gibt es eine sehr kleine Gruppe (10%) die das Prompt-Engineering sehr gut beherrscht und gleichzeitig den Stoff gut versteht.
Insbesondere ist die erste Gruppe, die sich auf LLMs verlässt, diese aber nicht wirklich gut einsetzen kann, meiner Beobachtung nach deutlich grösser als die Gruppe der gerade so noch acceptable Leistung erbringenden Studenten bevor es LLMs gab. Ich befürchte ausserdem, dass diese Studenten im weiteren Verlauf des Studiums erhebliche Probleme bekommen werden, da ihnen Grundlagen fehlen. Insofern gibt es da eine neue "Unterklasse" an Studenten, nämlich die, die versuchen schlechtere Fähigkeiten mittels LLM-Einsatz zu kompensieren. Das funktioniert eher nicht.
Insofern geht die Schere weiter auf. LLMs sind nicht einfach zu benutzen wenn die Ergebnisse tatsächlich stimmen müssen. Allerdings gibt es auch einen weiteren Faktor: Prüfungen bei der LLM-Benutzung erlaubt ist sind viel schwerer zu stellen. Ich hoffe das ist ein Anfangseffekt, aber ich habe sicher 3x soviel Zeit investieren müssen um einigermassen LLM-sichere Aufgaben zu finden. Ich vermute aber, dass sich das einspielen wird.