Msn ruft bei vielen Webprojekten, die ich kenne fleissig die
robots.txt auf, um sie dann zu ignorieren.
Bisher hab ich jedoch noch nie etwas in den Suchergebnissen gefunden,
was msn per robots.txt verboten wurde.
Für mich legt das den Schluss nahe, dass msn die ausgeklammerten
Bereiche mit voller Absicht durchwühlt, die Ergebnisse speichert,
aber nicht in die Suchergebnisse nimmt.
Kann jemand das Verhalten(robots.txt ignorieren, aber die
betreffenden Seiten nicht als Suchergebnis ausgeben) verifizieren?
robots.txt auf, um sie dann zu ignorieren.
Bisher hab ich jedoch noch nie etwas in den Suchergebnissen gefunden,
was msn per robots.txt verboten wurde.
Für mich legt das den Schluss nahe, dass msn die ausgeklammerten
Bereiche mit voller Absicht durchwühlt, die Ergebnisse speichert,
aber nicht in die Suchergebnisse nimmt.
Kann jemand das Verhalten(robots.txt ignorieren, aber die
betreffenden Seiten nicht als Suchergebnis ausgeben) verifizieren?