Crawler mit robots.txt aussperren

3
Hinterlasse einen Kommentar

0

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

  Abonnieren  
Neueste Älteste
Benachrichtige mich bei
w
Leser
Werner

Hallo

zum Text:
“Mit diesem Code-Snippet, das in die robots.txt-Datei eingefügt werden muss, werden die Crawler der Personensuchmaschinen ausgesperrt.”

Also wenn ich aus dem Haus ausgesperrt werde, ist wohl (hoffentlich) ein Sicherheitsschloss dafür verantwortlich.
Darf ich zum nachdenken bewegen? Welcher Mechanismen sperren einen Crawler aus?

Selbst wenn,…

User-agent: wget ???

–user-agent=”” instructs Wget not
to send the “User-Agent” header in HTTP requests.

Du hast interessante Beiträge!
Jetzt verstehe ich Dein Beitrag: https://timschropp.com/linux-ist-keine-alternative/

LG

s
Leser
Stephanie Cisco

Hurrah, that’s what I was searching for, what a stuff! thanks admin.