Bei GenAI-Anwendungen sind Maßnahmen für die Qualitätssicherung unerlässlich​

Lars Röwekamp ist Gründer der open knowledge GmbH und beschäftigt sich als „CIO New Technologies“ mit der Analyse und Bewertung neuer Software- und Technologietrends. Ein besonderer Schwerpunkt seiner Arbeit liegt derzeit auf Enterprise- und Cloud-Computing, Big Data und KI, wobei neben Design und Architekturfragen insbesondere die Real-Life-Aspekte im Fokus stehen.

iX: Fragt man, wo generative KI eingesetzt werden kann, findet man viele Antworten. Aber mal andersherum gefragt: In welchen Prozessen halten Sie den Einsatz für unangemessen? Wo liegen die Grenzen Ihrer Begeisterung?

Lars Röwekamp: (Generative) KI bringt eine große Chance, aber auch eine große Verantwortung mit sich. Vorsicht ist daher immer geboten, wenn das Wohl des Einzelnen beispielsweise bei der Kreditvergabe oder durch Social Scoring oder das Wohl der Gesellschaft unter anderem durch Filterblasen gefährdet wird.

Gibt es einen grundlegenden Unterschied bei der Gestaltung der Architektur eines GenAI-basierten Systems im Vergleich zu „normalen“ Softwaresystemen?

Normale Anwendungen agieren in der Regel deterministisch. GenAI-basierte Anwendungen arbeiten dagegen mit einer gewissen Kreativität. Das muss man beim Anwendungsdesign und der Architektur berücksichtigen.

Unerlässlich sind geeignete Qualitätssicherungsmaßnahmen wie die Integration von Leitplanken (Guardrails), die zum KI-Modell passen, oder die Überprüfung von Referenzdatensätzen. Darüber hinaus sollte man die Ergebnisse einer GenAI-Anwendung einer zusätzlichen Plausibilitätsprüfung unterziehen, um Halluzinationen herauszufiltern.

Welche Hauptrisiken treten bei der Entwicklung KI-gestützter Anwendungen auf?

Die größten Risiken einer KI-basierten Anwendung sind die fehlende Kausalität – wir haben es nur mit Korrelation zu tun – und die unzureichende Transparenz der Grundlage für eine KI-Vorhersage.

Je nach Anwendung und Kritikalität kann es daher sinnvoll sein, auf ein schwächeres, aber transparenteres Modell auszuweichen, um eine bessere Nutzerakzeptanz zu schaffen.

Wie relevant ist das tatsächliche Verständnis von (großen) neuronalen Netzen und maschinellem Lernen, um darauf aufbauende Anwendungen zu entwickeln?

In einer naiven Sichtweise könnte man annehmen, dass ein KI-Modell als Inferenzdienst in Form einer Blackbox angeboten werden kann und daher keine detaillierte Kenntnis des Modells selbst erforderlich ist. In Wirklichkeit ist es jedoch wichtig zu verstehen, dass ein KI-Modell immer auf Korrelation und nicht auf Kausalität beruht.

Eine auf KI basierende Anwendung muss dieser Tatsache Rechnung tragen und je nachdem wie kritisch die Anwendung ist, dem Endanwender eine entsprechende Transparenz für die Entscheidung der KI bieten und im Zweifelsfall alternative Wege aufzeigen – ohne KI.

Ist das Training benutzerdefinierter Modelle für viele Unternehmen eine praktikable Option?

Das Training eines KI-Modells ist zeitaufwendig und teuer. Außerdem ist ein hohes Maß an Fachwissen erforderlich. Ein großes GenAI-Modell von Grund auf zu trainieren ist für die meisten Unternehmen nicht realistisch. Wann immer es möglich und sinnvoll ist, sollten sie daher mit einem Basismodell beginnen und es einfach in Ihrem Sinne verfeinern.

Auch dann muss für das Training eines Modells ausreichend Expertise vorhanden sein. Fachwissen ist auch erforderlich, um während des Betriebs festzustellen, ob und wann das Verhalten des Modells nicht mehr den Erwartungen entspricht (Drift) und wann der Zeitpunkt gekommen ist, es neu zu trainieren. Diese Art von Überwachung und Folgemaßnahmen – einschließlich einer MLOps-Pipeline für automatisches Training – sollte ein integraler Bestandteil der eigenen KI-Landschaft sein.

Energieeffizienz wird als Standardziel der Softwarearchitektur angesehen. Lässt sich das gut mit dem Einsatz von GenAI-Modellen vereinbaren?

KI-Anwendungen im Allgemeinen und GenAI-Anwendungen im Besonderen sind extrem ressourcenintensiv. Daher sollte eine GenAI-Architektur diesen Aspekt immer von Anfang an berücksichtigen. Kann ein kleineres Modell als Alternative verwendet werden? Inwieweit hilft ein mehrstufiges Caching, um unnötige Inferenzen zu vermeiden? Können cloudbasierte Ressourcen in Ländern genutzt werden, die stark auf erneuerbare Energien angewiesen sind? Dies sind nur einige der Fragen, die gestellt werden müssen.

Der erste und wichtigste Schritt in die richtige Richtung besteht darin, in der eigenen Projektumgebung ein Bewusstsein für dieses Thema zu schaffen und es nicht einfach zu ignorieren.

Das Interview führte Lukas Zühl

Software Architecture Gathering

Dieses Jahr findet das iSAQB Software Architecture Gathering 2024 wieder vor Ort statt. Für die internationale Konferenz am 12. und 13. November haben die Veranstalter, International Software Architecture Qualification Board (iSAQB) und iX, das Magazin für professionelle IT, Berlin als Veranstaltungsort ausgewählt. Vor und nach den Konferenztagen gibt es am 11. und 14. November zusätzliche Workshops.

Das Programm der Konferenz bietet 40 englischsprachige Vorträge und vier Keynotes, darunter

• Generative AI Meets Software Architecture
• Secure Architectures for AI-Based Software
• Can We Measure Developer Productivity?
• Modern Architectural Work: From Defining to Enabling
• Make Your Security Policy Auditable
• Domain-Driven Transformation – How to Improve the Structure of Legacy Systems

Lars Röwekamp hält auf der Konferenz den Vortrag Generative AI Meets Software Architecture. Außerdem veranstaltet er einen Workshop zum Thema „From Zero to Production: Build Your Own GenAI Solution“.

(rme)