Sarkasmusfreie Bewertungen

Von Kunden hinterlassene Kommentare zu Produkten können E-Commerce-Anbietern beim Verkauf helfen. Noch lassen sich weniger ernst gemeinte Reviews jedoch nicht ausfiltern. Israelische Forscher wollen das ändern.

Für große Online-Händler wie Amazon sind Kundenkommentare zu Produkten mittlerweile enorm wichtig geworden: Sie geben Kaufinteressierten Orientierung, schaffen bei den Nutzern Vertrauen und sorgen so bestenfalls für höhere Umsätze - zumindest bei gut bewerteten Offerten.

Umso unschöner für die Firmen ist es, wenn Nutzer gefälschte Informationen hinterlassen oder sich einen Spaß daraus machen, Produkte ironisch oder sarkastisch zu kommentieren. Solche Bewertungen müssen dann aufwendig händisch ausgefiltert werden, damit wirklich nützliche, ernst gemeinte Reviews nicht untergehen oder zumindest ganz oben stehenbleiben und Kunden helfen können.

Forscher an der Hebrew University in Jerusalem haben nun einen neuartigen Algorithmus entwickelt, der E-Commerce-Anbietern beim Aussieben helfen könnte: Er kann Sarkasmus in geschriebener Sprache erkennen. Die Computerwissenschaftler Dmitry Davidov, Oren Tsur und Ari Rappoport wollen dabei bereits eine Treffergenauigkeit von über 75 Prozent erzielt haben.

Zum Prüfen ihrer Software zur, wie sie es nennen, "teilüberwachten Erkennung von sarkastischen Sätzen in Online-Produktests", nutzten sie fast 70.000 Kundenrezensionen bei Amazon, um Bemerkungen wie "Sind diese iPods so gebaut, dass sie innerhalb von zwei Jahren ausfallen?" oder "Dieses Buch ist toll für Menschen mit Schlafstörungen" als wenig ernstgemeint zu erkennen. 15 Versuchspersonen bestätigten das Ergebnis schließlich danach.

Was sarkastisch war, bewerteten die Forscher zunächst selbst, damit der Algorithmus, von den Forschern SASI genannt, lernen konnte. So entstanden insgesamt 80 besonders aussagekräftige Beispiele unterschiedlich starker Negativ-Gewichtung, mit denen der Algorithmus anschließend gefüttert wurde. Aus diesen konnte die Software wiederum bestimmte Wortteile und Satzmuster extrahieren, die bei sarkastischen Bemerkungen besonders häufig vorkommen. "Wir fanden dabei starke Signale, die solche Aussagen kennzeichnen", so die Forscher.

Ziel des Projektes ist es, den Moderationsprozess auch in anderen Online-Gemeinschaften zu vereinfachen: Sarkastische Wortmeldungen werden Community-Managern dann gezielt vorgelegt und sie können entscheiden, ob sie Bewertungen lieber löschen sollten.

Manchmal versagt SASI allerdings: So konnte der Algorithmus anfangs nicht unterscheiden, ob der Satz "Dieses Buch war bis Seite 400 ganz toll" genauso sarkastisch gemeint ist wie "Dieses Buch war bis Seite 2 ganz toll". Hilfreich waren hier jedoch bestimmte Schlüsselbegriffe. Wenn der nächste Satz mit "Was" anfing, erhöhte sich der Sarkasmusquotient nämlich schlagartig: "Was für eine Leistung", beispielsweise, konnte nur negativ gemeint sein. (bsc)