robots.txt – 30 Jahre Hausregeln für Websites

Alle Heise-Foren heise online Kommentare robots.txt – 30 Jahre Hausreg…

Alles aufklappen Alles zuklappen Anmelden und mitdiskutieren

aus ein

Ansicht umschalten Baum an

1.   26.02.2024 14:52 Andreas Schamanek   Hinweis auf NoML?
2.   26.02.2024 09:22 Arcardy (dc64a823)   Ist meine robots.txt richtig geschrieben?
3. + 26.02.2024 10:47 unbekannter Benutzer   wget -e robots=off --wait 0.25 ... (2)
4. + 27.02.2024 11:42 wry robots.txt -- So irrelevant wie schon immer. (6)
5.   25.02.2024 19:39 jobst   robots.txt und DNT wünscht sich irgendwas
6. + 26.02.2024 09:13 CoolAllo Wieso kann es rechtlich nichts verhindern? (6)
7.   25.02.2024 11:31 Jensinator Die Content-Mafia hat's aber bis heute nicht kapiert ...
8.   25.02.2024 10:28 miami2 https://www.reddit.com/robots.txt
9. + 25.02.2024 11:45 strauch_ "robots.txt auf eine positive Art nicht mehr zeitgemäß" (1)
10. + 25.02.2024 16:34 Frutsch Der grundsätzliche Strickfehler: Negativliste (7)
11. + 26.02.2024 10:32 Oli_H Wenn Shop/Hoteliers/Fluggesellschaften/Tankstellen Preise minütlich ändern... (6)

Threadübersicht Eingangsreihenfolge

Anmelden und mitdiskutieren

aus ein

Baum an