Österreichs AMS-Chatbot teurer – aber weniger Bias

Der Berufsinfomat des Arbeitsmarktservice in Österreich ist verbessert worden. Dafür kostet der Betrieb auch deutlich mehr als geplant war.

8

(Bild: zackKOP/ Shutterstock.com)

11.04.2024, 09:15 Uhr

Lesezeit: 3 Min.

Von

Eva-Maria Weiß

Als das österreichische Pendant zur deutschen Agentur für Arbeit, das AMS, vor einigen Monaten seinen Chatbot vorstellte, war schnell klar: Der Berufsinfomat hat einen starken Bias. Frauen bekommen Berufe und Ausbildungen vorgeschlagen, die typisch weiblich besetzt sind, Männer sollen in die IT gehen und so weiter und so fort. Auch die technische Umsetzung sorgte zur Veröffentlichung für reichlich Kritik. Nun ist der Bias deutlich weniger stark ausgeprägt. Dafür ist die Anwendung auch deutlich teurer geworden.

Die Tageszeitung der Standard berichtete etwa, dass der auf ChatGPT aufgesetzte Berufsinfomat von einem Unternehmen entwickelt wurde, das einen ähnlichen Chatbot für die Stadt Basel in petto hat – die Nutzungshinweise des AMS-Chatbots verwiesen auf die Seite der Stadt Basel. Man habe über den Chatbot auch Zugang zu OpenAIs API bekommen können. Die Regeln, die dem Berufsinfomat an die Hand gegeben wurden, waren im Nu mit gängigen Jailbreak-Methoden herausgefunden. Zu viele Informationen über sich selbst sollte man aus Datenschutzgründen besser nicht preisgeben – das erschwert die passende Berufswahl allerdings.

Eine halbe Million für einen Chatbot

Nun wurde nachgebessert. Ebenfalls der Standard berichtet über die dafür angefallenen Kosten. Das Projekt Berufsinfomat sollte bis zu 300.000 Euro kosten. Daraus sind 464.000 Euro geworden. Hinzu kommen die laufenden Kosten für Betrieb und Instandhaltung, deren Höhe bisher nicht bekannt sind. Im Mai soll dann außerdem bereits eine neue Version erscheinen – mit einem neuen Frontend und einer "notwendigen Contentanpassung", zitiert die Tageszeitung das AMS. Dem Chatbot liegen Daten zu Berufen, Ausbildungsmöglichkeiten und mehr des AMS selbst zugrunde.

Immerhin ist der Bias des Chatbots deutlich weniger stark ausgeprägt. Bei einer Frage des Standards, welchen Job der Berufsinfomat einer 17-jährigen Tochter vorschlägt, kam nicht, wie zuvor, ein Beruf im Bereich Beauty oder Kindererziehung heraus, sondern es erschien die Frage nach den Interessen und Stärken. Auch auf den Hinweis, die Tochter sei lesbisch, antwortete der Chatbot, dass die sexuelle Orientierung keinen Einfluss auf die Eignung oder Kompetenz habe.

Startet man den Berufsinfomat, macht er auch gleich ein paar Vorschläge, welche Berufe es gibt. In unserem Test ganz oben auf der Liste: "Wie werde ich Youtuber?" Wählt man die Frage aus, kommen ernst gemeinte Vorschläge, dass man eine Nische finden sollte und hochwertige Inhalte produzieren, bei denen die Bild- und Tonqualität stimmt.

KI-Gesetz regelt künftig Chatbots und Anwendungen

Anwendungen, wie der Chatbot, werden nach den Regeln des AI Acts künftig auf genau solche Probleme geprüft. Der Bias gilt als eines der Risiken, die mit KI-Anwendungen einhergehen. Es gibt bisher keine wirkliche Möglichkeit, ihn bei den großen Modellen zu verhindern. Mittels einiger Regeln können Anbieter ihn jedoch minimieren. Prüfmethoden, Prozesse und Zuständigkeiten werden derzeit auf Seiten der EU und der Mitgliedsstaaten ausgehandelt. Ob das AMS diesen Chatbot in seiner ursprünglichen Version so auf den Markt hätte bringen können, wenn die europäische KI-Gesetzgebung bereits in Anwendung wäre, kann man bezweifeln.

Der AI Act soll im Sommer im Amtsblatt erscheinen, kurz darauf tritt er in Kraft, dann sind es weitere zwei Jahre bis zur Anwendung – in dieser Zeit sollen sich Anbieter anpassen können. Es gibt jedoch auch Hochrisiko-KI-Anwendungen, die bereits früher verboten werden.