robots.txt erweitern

Gibt's von Google nicht ein Verfahren, mit dem man per XML-Datei
genau angeben kann, was der Crawler in den Index aufnimmt?

Wenn ich das weiterdenke, fällt mir noch Folgendes ein:

- Man kann nicht davon ausgehen, dass sich Crawler an eine robots.txt
halten. Wenn dadurch viele Inhalte nicht in Suchmaschinen auftauchen,
die sich daran halten, schafft das eine Marktlücke für Crawler, die
sie ignorieren.

- Das könnte man nur durch weltweit gültige Gesetze regeln, die die
Indizierung von nicht erlaubten Inhalten unter Strafe stellt. Eine
solche Regelung wird es nicht geben.

- Ist eine Webseite erst einmal in einem Index, ist es unmöglich zu
kontrollieren, wie lange die Daten zugänglich sind.

- Die Löschung eines bestimmten Eintrags ist im Einzelfall möglich,
in der Masse aber nicht. Hierbei müsste ja der Nachweis über die
Identität des Antragstellers erbracht werden und dass er tatsächlich
von dem Suchergebnis tangiert ist.

Der beste Schutz scheint zu sein, so wenig Daten wie irgend möglich
ins Internet zu lassen, die der eigenen Person zuzuordnen sind.