Bots und Webcrawler erzeugen die Hälfte des Webverkehrs
Laut einer Untersuchung von DeviceAtlas wird die Hälfte des Webtraffics nicht von Menschen verursacht.
- Jürgen Seeger
DeviceAtlas, ein Firma, die sich auf das Erkennen der Hard- und Software-Eigenschaften von Webclients spezialisiert hat, kommt in ihrem Mobile Web Intelligence Report für das erste Quartal dieses Jahres zu dem Ergebnis, dass rund die Hälfte des Webverkehrs von Bots und Crawlern verursacht wird. Basis ist eine Erhebung bei DeviceAtlas-Kunden, die deren API zur Client-Evaluation nutzt.
(Bild: DeviceAtlas)
Hauptverursacher waren dabei nicht die automatischen Scanner der großen Suchmaschinen wie Bing, Google oder Yahoo, sondern mit rund 68 Prozent der MJ12bot. Dieser verteilt arbeitende Bot hält sich beim Durchsuchen von Websites nicht an Konventionen wie das Auswerten der Datei robots.txt, mit der Webadministratoren bestimmte Bereiche ihrer Site von der Suche ausklammern können, oder an die üblichen Suchintervalle. Zudem ist unklar, welchen beziehungsweise wessen Suchindex der MJ12bot überhaupt aufbaut.
Werbekunden mögen keine Roboter
Der übermäßige Anteil maschinellen Verkehrs stellt sich nicht nur als Problem für die Infrastruktur der Provider und Website-Betreiber dar. Da Werbung im Web unter anderem auf Basis von Seitenabrufen (Page Impressions) verkauft wird, muss deren Zahl um den Anteil der "maschinellen" Zugriffe bereinigt werden – was nicht immer trivial ist.
Der hohe Traffic-Anteil von nicht-menschlichen Clients ist ein in den letzten Jahren immer wieder registriertes Problem. So hatte 2015 der Websicherheitsspezialist Incapsula Untersuchungen veröffentlicht, nach denen ebenfalls fast die Hälfe des Datenvolumens auf Abfragen von Bots zurückging. (js)
