Webcrawler-Hijacking

Google, wie jede andere Suchmaschine, indiziert Webseiten anhand von
Webcrawlern (in diversen Variationen -> Metacrawler, Harvester,
etc.).

Link dazu: http://de.wikipedia.org/wiki/Webcrawler

Nun stellt sich mir folgende Frage: Wie trickst man einen Webcrawler
aus und lässt sich dennoch im Internet von millionen von Menschen
leicht finden?

Natürlich kann man Webcrawler in die Irre führen absichtlich falsche
Metatags angeben, gefälschte Seiten erstellen, Email Addys
verschleiern (z.B. in jpeg´s) usw. Aber das Problem bleibt doch
gerade dann bestehen, wenn ein Mittwelweg gefunden werden muss,
zwischen Suchranking und Verschleierung.

Einfache Mittel, wie beispielsweise beschränkter Zugriff auf
Webseiten, bieten auch nur einfachen Erfolg.

Im Grunde ist da ganze auch ein schwieriges Thema, die Algorithmen
hinter solchen Progs sind meisstens ein gut gehütetes Geheimnis.

Dennoch denke ich, man könnte es schaffen. Schließlich gibt es IMMER
eine Lösung. ;)

Mir kommt da z.B. die Idee, eine Webseite mit verschlüsselten
Meta-infos zu erstellen, den Schlüssel wiederum in einem
verschlüsselten FTP Archiv zu lagern und das ganze dann (leider)
manuell zu verwalten. Nachteil dabei: Wenige Zugriffe.

Keine Ahnung ob das nun überhaupt ein geeigneter Weg ist, bin nach
der Arbeit auch etwas Denkfaul und abgelenkt. Aber einen Crawler kann
man prinzipiell immer übers Ohr hauen und, wenns einen in den Fingern
juckt, auch mal hijacken und ein wenig Schabernack treiben. :)

Ich hoffe mal, dass morgen nicht das FBI bei mir vor der Türe steht.
"Hijacking" wird dort wohl die Detektoren ausschlagen lassen.... Dann
muss ich eben noch meine Sachen packen. Der Flug nach Kuba geht um 7
Uhr früh....

Hang loose...

trex0r