Bei dem Satz musste ich an den Artikel vor ein paar Tagen denken.
Verdächtige Domains bekommen Besuch von dem BigPhish-Crawler.
20.06.2024
https://www.heise.de/news/Crawler-ohne-Grenzen-Perplexity-ignoriert-robots-txt-9770336.html
Kann man wieder sehen, dass hier das Fehlverhalten (ignorieren der robots.txt) gut ist, während es auf seriösen Seiten schlecht ist.
Wenn BigPhish sie nicht ignoriert, wäre es ziemlich dämlich.