Algorithmus soll zuverlässig Online-Störenfriede erkennen

In fast jeder Online-Community gibt es auch Personen, die dort nur stören oder Ärger machen wollen. Das Problem ist von großer Bedeutung – und könnte bald mit Hilfe von Algorithmen gemildert werden.

So genannte Trolle sind auf vielen Internet-Sites eine echte Plage. Diese Leute verhalten sich absichtlich antisozial, indem sie beleidigende Kommentare einstellen oder stark vom eigentlichen Thema abweichen. Im besten Fall sind sie Nervensägen, im schlimmsten Fall machen sie anderen das Leben zur Hölle.

Demzufolge wäre es wertvoll, Trolle schon früh in ihrer Online-Karriere erkennen und ihre schlimmsten Exzesse verhindern zu können.

Genau das haben Justin Cheng von der Stanford University in Kalifornien und zwei Kollegen jetzt versucht: Wie sie in einem Fachaufsatz berichten, haben sie ein Werkzeug entwickelt, mit dem sich das Verhalten von Trollen auf Websites analysieren lässt; der Algorithmus erkenne die Urheber von Kommentaren schon nach nur zehn Beiträgen zuverlässig wieder. Laut Cheng und Kollegen könnte diese Technik von hohem Nutzen für die Moderatoren von Online-Communities sein.

Für ihr Projekt untersuchten die Forscher drei News-Seiten: CNN.com für allgemeine Nachrichten, Breitbart.com mit politischen Inhalten und IGN.com, das sich mit Computerspielen beschäftigt.

Für jede dieser Sites hatten sie eine Liste von Nutzern, die wegen antisozialem Verhalten gesperrt wurden, insgesamt mehr als 10.000 Personen. Ebenso verfügten sie über alle Kommentare, die diese Nutzer in ihrer aktiven Zeit geschrieben hatten. „Solche Leute sind klare Beispiele für antisoziale Nutzer. Sie bilden die Grundlage für unsere Analyse“, schreibt Cheng.

Auf dieser Basis versuchten die Forscher, drei Fragen über antisoziale Nutzer zu beantworten: Sind sie ihre ganze Existenz in einer Community über antisozial oder werden sie das erst gegen Ende? Führt die Reaktion der Community dazu, dass sich ihr Benehmen noch verschlechtert? Und: Lassen sich antisoziale Nutzer frühzeitig zuverlässig identifizieren?

Beim Vergleich der Kommentare von Nutzern, die später gesperrt wurden, und der Kommentare von anderen, die nie gesperrt wurden, erkannten Cheng und Kollegen einige deutliche Unterschiede. Einer der von ihnen verwendeten Indikatoren ist die Lesbarkeit der Beiträge, bewertet anhand des Automated Readability Index.

Das zeigt: Nutzer, die später gesperrt werden, schreiben von Anfang an Beiträge mit niedrigerer Qualität. Obendrein nimmt diese Qualität im Lauf der Zeit noch weiter ab.

Anfangs scheinen Communities trotzdem nachsichtig zu sein und sperren antisoziale Nutzer zunächst nicht; später werden sie dann weniger tolerant. „Dies führt mit der Zeit zu einer höheren Quote für das Löschen von Beiträgen antisozialer Nutzer“, heißt es in dem Aufsatz.

Interessanterweise schreiben Cheng und Kollegen, die Unterschiede zwischen den Kommentaren später gesperrter Nutzer und normaler Nutzer seien so deutlich, dass Trolle mit einem Maschinenlernalgorithmus relativ leicht erkannt werden können: „Tatsächlich müssen wir nur 5 bis 10 Beiträge eines Nutzers auswerten, um eine zuverlässige Voraussage zu machen.“

Das könnte sich als nützlich erweisen. Antisoziales Verhalten im Web ist ein zunehmend gravierendes Problem, dessen Entdeckung und Bekämpfung bislang viele menschliche Ressourcen bindet. Dadurch können antisoziale Nutzer teils viel länger ihr Unwesen treiben als nötig. „Mit unseren Methoden lassen sich antisoziale Nutzer zu einem frühen Zeitpunkt identifizieren und der Kontrollaufwand verringern“, so Cheng und Kollegen.

Natürlich muss man bei solchen automatisierten Verfahren immer vorsichtig sein. Eine Gefahr besteht darin, dass Nutzer vom Algorithmus als antisozial gesperrt werden, obwohl sie sich vernünftig benehmen. Der Anteil solcher falschen Positivmeldungen muss noch genauer untersucht werden.

Trotzdem könnte der Beitrag von Cheng und Kollegen die Arbeit von Moderatoren auf Seiten mit Kommentarfunktion bald deutlich erleichtern.

()