Googlebot ist bekannt durch seine Referrer-Tag, der wie folgt aussieht:
Googlebot/2.1 (+ http://www.googlebot.com/bot.html)
Das Google AdSense-Bot ist verwirrend benannt und führt daher häufig Verwirrung als Webmaster Fehler für Googlebot.
Das Google AdSense-Bot crawlt Web-Seiten, die Google AdSense-Anzeigen, um zu bestimmen, welche Werbung am meisten für diese Seite.
Das Google AdSense-Bots geschützt Referrer-Tag sieht wie folgt aus:
Mediapartners-Google/2.1 (+ http://www.googlebot.com/bot.html)
Sein Besuch des Google AdSense-Bot nicht erhalten Sie in den Google-Suchmaschinen-Index.
Quoting Das Google AdSense-FAQ:
Hinzufügen des Google AdSense-Anzeigencode oder WebSearch-Code auf Ihrer Website nicht dazu Ihre Seiten für das Crawling durch unseren Hauptindex-Bots geschützt. Während unsere Bot (Mediapartners-Google/2.1 +) nicht crawlen Content-Seiten zum Zwecke der Werbung für diese Crawling ist nicht im Zusammenhang mit unseren Haupt-Index crawlen.
Wenn Sie das Für weitere Informationen über Googlebot, lesen Sie bitte die
Bookmark Was ist Googlebot?
Neueste Blog-Posts