Website für Sauger sperren
Seit einiger Zeit stelle ich auf meiner Internet-Präsenz den Einsatz eines Offline-Browsers fest. Der Einsatz solcher oder ähnlicher Programme ist mir nicht recht, da mein Traffic dadurch unnötig in die Höhe geht. Wie kann ich verhindern, dass Offline-Browser die gesamte Website auslesen?
- Gerald Himmelein
Seit einiger Zeit stelle ich auf meiner Internet-Präsenz den Einsatz eines Offline-Browsers fest. Der Einsatz solcher oder ähnlicher Programme ist mir nicht recht, da mein Traffic dadurch unnötig in die Höhe geht. Wie kann ich verhindern, dass Offline-Browser die gesamte Website auslesen?
Streng genommen gar nicht. Aber eins nach dem anderen. Zunächst kann man prüfen, ob sich der Offline-Browser an Robots-Anweisungen hält. Erzeugen Sie dazu eine Textdatei mit dem Namen ‘robots.txt’ und tragen Sie darin den Sperrbefehl ein. Geben Sie als User Agent den Namen des Offline-Browsers an, so wie er in Ihren Logfiles auftaucht, gefolgt von den zu blockierenden Verzeichnissen und kopieren Sie die Datei dann mit einem FTP-Client in das Hauptverzeichnis Ihrer Domain. Mit ‘/’ wird der ganze Server gesperrt. Ein Beispiel:
User-agent: wget
Disallow: /
Die meisten Offline-Browser beherrschen aber das ‘Spoofing’ des User-Agent-Werts. Wird die Site weiterhin abgegrast, können Sie den nächsten Schritt gehen und die IP-Adresse des Anwenders aussperren - dies wird freilich nur dann Erfolg haben, wenn der ungebetene Surfer stets unter der gleichen Adresse surft.
Dazu erstellen Sie eine Datei mit dem Namen ‘.htaccess’ (der Punkt am Anfang ist wichtig) und tragen dort unter ‘deny from’ die zu blockierende Adresse ein. Auch diese Datei muss im Hauptverzeichnis Ihrer Web-Präsenz landen. Ein Beispiel:
order allow,deny
deny from 212.184.80.190
allow from all
Nicht jeder Hoster erlaubt seinen Kunden den Zugriff auf die Dateien robots.txt und .htaccess. Im Zweifelsfall müssen Sie den Support Ihres Providers kontaktieren.
Der Anwender hinter dem Offline-Browser kann dann aber immer noch mit einem anderen Download-Client oder unter einer anderen IP-Adresse Ihre Site ‘leersaugen.’ Wenn Sie den Eindruck haben, dass Ihr ungebetener Besucher Ihre Inhalte liest und nicht nur maschinell auswertet, könnte ein freundlicher Hinweis auf Ihren Webseiten weniger Aufwand verursachen und mehr Wirkung zeigen als jede technische Maßnahme. (ghi) (ghi)
