Ansicht umschalten
Avatar von nochjemand
  • nochjemand

mehr als 1000 Beiträge seit 09.09.2002

robots.txt und msn

Msn ruft bei vielen Webprojekten, die ich kenne fleissig die
robots.txt auf, um sie dann zu ignorieren.
Bisher hab ich jedoch noch nie etwas in den Suchergebnissen gefunden,
was msn per robots.txt verboten wurde.
Für mich legt das den Schluss nahe, dass msn die ausgeklammerten
Bereiche mit voller Absicht durchwühlt, die Ergebnisse speichert,
aber nicht in die Suchergebnisse nimmt.

Kann jemand das Verhalten(robots.txt ignorieren, aber die
betreffenden Seiten nicht als Suchergebnis ausgeben) verifizieren?


Bewerten
- +
Ansicht umschalten