Session Replay Praxiserfahrung - eher negativ

Wir hatten das eine Zeit lang auf der Webseite.

Als Entwickler hat man uns natürlich nicht darüber informiert, denn hätte man es getan wären wir strikt dagegen gewesen - mit Recht! Es ist sowieso schon immer ein Armutszeugnis wenn die Entwickler den eigenen Online-Shop nur mit eingeschaltetem Werbeblocker testen können.

Die Marketingabteilung fand dann Session Replay als eines der Features des von ihnen gebuchten Trackingpakets und hat das ohne Rücksprache mit uns oder den Hausjuristen einfach mal eingeschaltet. Einfach so. Und anschließend natürlich vergessen.

Das lief dann circa sechs Monate unkontrolliert, bis das externe Skript irgendwann die erste Downtime verursachte und Leute nicht mehr bestellen konnten. Dann wollte es natürlich plötzlich keiner gewesen sein.

Ausgewertet wurden diese Daten vom Marketing selbstverständlich nie. Das war mal so eine Idee: "Ach, toll - da kann man ja sehen was der Kunde geklickt hat und wo uns die Kunden abspringen".

Ähh... nein, kann man leider nicht sehen.

Als einfachstes Feature bieten Anbieter zunächst die Mausbewegungen als Heatmap an. Klingt gut in der Theorie, ist in der Praxis aber ziemlich nutzlos. Zum überwiegenden Teil zeigt die Heatmap nur was man eh schon wusste - zum Beispiel: Der Login-Button ist knallrot. Der obere Teil der Webseite wird häufiger betrachtet als der untere. Da hört es dann aber leider auch schon wieder auf, denn selbst wenn es erfolglose Klickversuche gibt, so gehen diese als statistisches Rauschen i.d.R. einfach unter.

Als weiteres Problem für diese Heatmaps hat der externe Anbieter natürlich auch keinen Schimmer welche Aktion, welche Werbung, oder welcher A/B-Test wann auf der Webseite aktiv waren. Die Webseite verändert sich also ständig. Werbeblöcke sind unterschiedlich groß (oder werden bei manchen Kunden durch Werbeblocker ausgeblendet). Buttons verschieben sich. Die Daten, welche hier zusammengerechnet werden, sind daher oft gar nicht so ohne Weiteres vergleichbar. Entsprechend verschieben sich die "hot zones" natürlich bei jeder Werbeaktion, sodass der Sachbearbeiter genaue Kenntnis der laufenden Kampagnen haben und den jeweiligen Zeitabschnitt manuell anpassen muss, um überhaupt irgendwelche Erkenntnisse gewinnen zu können.

Zusätzlich gibt es dann noch das eigentliche "Replay" individueller Sessions.
Dies mag zwar interessant klingen, entpuppt sich in der Praxis aber als Element der nutzlosen Menge "jemand hatte mal eine Idee".

Denn: in 95% der Videos scrollen entweder Leute unmotiviert nur über die Startseite und schließen sie wieder, oder klicken als einzige Maßnahme auf den Login-Button für Bestandskunden. Nur kümmerliche 5% der Videos zeigen überhaupt irgendwas und diese wollen überhaupt erst mal gefunden werden, was in der Regel irgendwo zwischen Backend, Suchfunktion und dem Kopf vor dem Monitor scheitert.

Findet der Mitarbeiter dann doch mal eine relevante Session, dann ist der Inhalt der Aufnahme trotzdem meist nicht zielführend, denn so genau braucht es der Sachbearbeiter dann eigentlich auch bloß nicht wissen. Welche Aussage soll er denn schließlich aus einer einzigen Session ableiten? Ohne statistische Auswertung bringt das wenig, und für eine statistische Betrachtung ist es eben völlig unerheblich WAS der Benutzer eingegeben - geschweige was er verworfen - hat. Die Daten wurden somit unnötig erhoben.

Sich einzelne Sessions als Video anzugucken ist somit nur aufschlussreich zur Fehleranalyse, wenn es ein Problem mit der Webseite gab. Somit wären wir als Entwickler eigentlich die natürliche Zielgruppe dieser Aufnahmen. Da aber 90% der Probleme mit der Webseite in der Regel durch Javascript (insbesondere externe Skripte wie "Session Replay" selbst) überhaupt erst verursacht werden, haben wir von eben diesen Fällen selbstverständlich sowieso keine Aufzeichnung.

Ergo ist Session Replay inzwischen auf allen Shops wieder deaktiviert - obwohl das Marketing dafür teures Geld bezahlt hat. Wir Entwickler finden diesen "Verlust" überhaupt nicht traurig.