Was ist robots.txt?
robots.txt ist eine Textdatei, die benutzt werden können, um Web-Roboter auf den Zugang zu Ihrer Web-Site nur auf eine Art und Weise, von denen Sie zustimmen.
Diese robots.txt-Datei blockiert Google-Imagebot aus dem gesamten Web-Site:
User-agent: Googlebot-Image Disallow: /
Für weitere Informationen über die robots.txt, lesen Sie ein Standard für Robot Exclusion.
Überprüfen Sie die Syntax Ihrer robots.txt
Mehrere Web-basierten Tools zur Verfügung, die ruft die "robots.txt"-Datei von Ihrer Website und prüfen sie auf Syntaxfehler.
Bad Robots
Einige Web-Roboter werden beträchtliche Mengen an Bandbreite und System-Ressourcen, während die Rückkehr kaum oder keine praktische Nutzen für die Web-Site Besitzer.
Für Ihre Bequemlichkeit, pflegen wir eine Liste mit einigen dieser schlechten Roboter in "robots.txt"-Format.
 |
Bookmark Was ist robots.txt?
