Google和Robots.txt SEO信息

・1 分钟阅读

在决定要抓取哪些网页时,Googlebot按以下顺序进行操作,

  1. Googlebot将遵守robots.txt文件中的第一个记录,USER-AGENT以"Googlebot"开始,
  2. 如果没有googlebot USER-AGENT,它将遵守第一个带有USER-AGENT的条目:"*",

Google User-agents

Googlebot
从我们的网页索引和新闻索引抓取网页
Googlebot-Mobile
抓取网页以获取我们的移动索引
Googlebot-Image
抓取页面以获取图像索引
Mediapartners-Google
抓取页面以确定AdSense内容,我们只使用这个机器人来抓取你的网站,如果你在你的网站上展示AdSense广告,
Adsbot-Google
抓取页面以测量AdWords目标页面质量,如果你使用谷歌AdWords广告你的网站,我们只使用这个,了解有关此bot的更多信息,以及如何将它从你的站点部分中屏蔽。
190929089 profile image