Wiki Tag: robots.txt

Wiki Artikel

robots.txt

Im Stammverzeichnis jeder Internetpräsenz sollte eine Datei mit dem Namen “robots.txt” vorhanden sein. Die Webcrawler der Suchmaschinen wie Google oder Bing suchen gezielt nach dieser Datei. Hier lesen die Crawler aus, wie die Webseite...