Was ist robots.txt?

robots.txt ist eine Textdatei, die benutzt werden können, um Web-Roboter auf den Zugang zu Ihrer Web-Site nur auf eine Art und Weise, von denen Sie zustimmen.

Diese robots.txt-Datei blockiert Google-Imagebot aus dem gesamten Web-Site:

  User-agent: Googlebot-Image 
  Disallow: / 

Für weitere Informationen über die robots.txt, lesen Sie ein Standard für Robot Exclusion.

Überprüfen Sie die Syntax Ihrer robots.txt

Mehrere Web-basierten Tools zur Verfügung, die ruft die "robots.txt"-Datei von Ihrer Website und prüfen sie auf Syntaxfehler.

Bad Robots

Einige Web-Roboter werden beträchtliche Mengen an Bandbreite und System-Ressourcen, während die Rückkehr kaum oder keine praktische Nutzen für die Web-Site Besitzer.

Für Ihre Bequemlichkeit, pflegen wir eine Liste mit einigen dieser schlechten Roboter in "robots.txt"-Format.



Top 5 Free Networking Tools

Bookmark Was ist robots.txt?

Neueste Blog-Posts


Englisch Englisch Deutsch Deutsch Spanisch Spanisch Französisch Französisch Italienisch Italienisch Portugiesisch Portugiesisch Russisch Russisch Niederländisch Niederländisch
Griechisch Griechisch Hindi Hindi Japanisch Japanisch Koreanisch Koreanisch Chinesisch Chinesisch Chinesisch (Taiwan) Chinesisch (Taiwan) Arabisch Arabisch

Copyright 2009 Tech-FAQ. Alle Rechte vorbehalten. Datenschutz.