Robots.txt & die Google Richtlinien (Stichwort Cloaking)

Mit Robots.txt schliessen wir crawler aus, die wir nicht wollen und
mit einer Webseite, die Robots und Nutzern das Gleiche zeigt schaffen
wir es, dass sowohl nicht-Abonenten als auch Abonenten genau das
gleiche in Google sehen.

Wo ist das Problem? Warum schimpfen die Verlage so? Verstehe nicht,
dass Google diesen Zirkus mitmacht...