KI-Software sortiert Bildinhalte und wertet Content aus

Künstliche Intelligenz kann Objekte in Bildern und Videos analysieren und große Mengen visueller Daten automatisch verarbeiten, scheitert aber bislang meist an regionalen Unterschieden und altersbedingten Bewertungskriterien. Felix Friedrich und sein Team vom Artificial Intelligence and Machine Learning Lab (AIML) haben mit "LlavaGuard" ein Tool entwickelt, das diese Beschränkungen nicht kennt und in der Lage ist, Bild- und Textinhalte nach unterschiedlichen Vorgaben detailliert einzuordnen. Die Filtermethode nutzt Vision-Language-Modelle (VLMs), die im Gegensatz zu reinen Sprachmodellen wie ChatGPT nicht nur Bild-, sondern gleichzeitig auch Text verarbeiten und interpretieren können.

Anders als andere KI-gestützte Bilderkennungsprogramme wie Anthopic-KI kann LlavaGuard sich flexibel an verschiedene gesetzliche Vorschriften und Nutzerbedürfnisse anpassen. Es ist beispielsweise in der Lage, zwischen Ländern und Regionen zu unterscheiden und entsprechend unterschiedliche Kriterien für die Analyse einzusetzen. Die Forscher nennen gegenüber dem Informationsdienst Wissenschaft (IDW) in diesem Zusammenhang das Beispiel der unterschiedlichen länderspezifischen Regelungen im Umgang mit dem Cannabiskonsum.

Regionale und altersabhängige Contentbewertung

Außerdem beurteilt das Programm, ob Inhalte für bestimmte Altersgruppen geeignet sind, und passt sie entsprechend an. "Derartige Sicherheits-Tools gab es bislang nur für die Analyse von Texten. Bei der Filterung von Bildern lässt sich derzeit beispielsweise nur die Kategorie 'Nacktheit' umsetzen, nicht aber andere wie etwa 'Gewalt', 'Selbstverletzung' oder 'Drogenmissbrauch'", erläutert Friedrich.

Das Tool kennzeichnet nicht nur als problematisch erkannte Inhalte, sondern erklärt auch detailliert die vorgenommenen Sicherheitseinstufungen. Es kategorisiert Inhalte wie "Hass", "illegale Substanzen" oder "Gewalt" und erläutert, warum diese als sicher oder unsicher gelten. "Diese Transparenz macht unser Tool so besonders und ist entscheidend für Verständnis und Vertrauen. Dadurch wird LlavaGuard zu einem mächtigen Werkzeug für Forscher, Entwickler und politische Entscheidungsträger", meint Friedrich.

Die Forschung zu LlavaGuard ist ein zentraler Bestandteil des Clusterprojekts "Reasonable Artificial Intelligence (RAI)" an der TU Darmstadt. Die Anwendungsmöglichkeiten des Tools scheinen dabei weitreichend zu sein. Obwohl es sich nach wie vor in der Entwicklung befindet, lässt es sich schon jetzt in Bildgeneratoren wie Stable Diffusion integrieren. Der Einsatz auf Social-Media-Plattformen ist ebenfalls angedacht. Wie das Forschungsteam meint, wäre es dadurch möglich, illegalen Content automatisch herauszufiltern und so ein sichereres Online-Umfeld zu schaffen.

(usz)