Interner Test: Deutsche KI versteht Kunden besser als Global Player

Bei einer internen Testreihe erkannte die KI des deutschen Anbieters parlamind Anfragen genauer als die Konkurrenz. Das Berliner Unternehmen hat sich auf die Anwendung von künstlicher Intelligenz für Kundenanfragen spezialisiert. Im Rahmen der mithilfe des eigens entwickelten freien Testwerkzeugs UnifyEval durchgeführten Untersuchung konnte sich die deutsche KI gegen prominente Kontrahenten wie Google Dialogflow, Rasa und IBM Watson durchsetzen.

Die getesteten KIs wurden für den Test zunächst mit 8000 deutschsprachigen Formulierungen der 10 häufigsten Kontaktanfragen von Kunden trainiert. Anschließend wurde das Verstehen eines kleineren Datensatzes getestet. Während sich andere Anbieter beispielsweise mit einer informellen Nachfrage nach einem neuen Retoureschein schwertaten und stattdessen die Rücksendefrist verlängert hätten, habe die parlamind KI die Anfrage korrekt verstanden. Insgesamt könne die eigene KI rund 88 % der Kundenanfragen richtig verstehen, während IBM Watson auf 84 % komme, Google Dialogflow und Rasa hingegen nur auf 82 %. Auch bei der Auswertung über das statistische F-Maß habe man mit 0,92 den Bestwert der Untersuchungsgruppe erzielt.

Das von parlamind entwickelte Open-Source-Evaluationstool UnifyEval ist über github einsehbar. Auch der ausführliche Report zum Test von parlamind wurde zwischenzeitlich veröffentlicht. Google baut derweilen seinen Chatbot Dialogflow ebenfalls für den internationalen Einsatz weiter aus, Amazon will im Callcenter mit automatischen KI-Übersetzungen punkten.

(jvo)