robots.txt

Crawler mit robots.txt aussperren

Crawler mit robots.txt aussperren

Was im Internet erst einmal durch Crawler erfasst wurde, lässt sich nur schwerlich wieder entfernen. Mit der Datei robots.txt kann ein wenig Abhilfe geschafft werden. Im Stammverzeichnis jeder Internetpräsenz sollte diese Datei  vorhanden sein....