元机器人标记
190929089
・1 分钟阅读
Robots.txt教程
如何创建Robots.txt文件
使用我们的Robots.txt生成器创建Robots.txt文件。
分析Robots.txt文件
使用我们的Robots.txt分析器来分析你的Robots.txt文件。
Google也为谷歌网站站长中心提供了类似的工具,并显示了你网站上的Google爬行错误。
示例Robots.txt格式
允许对所有进行索引。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
禁止对所有 indexing索引
User-agent: *
Disallow: /
特定文件夹的 Disawllow索引
User-agent: *
Disallow: /folder/
禁止bot索引文件夹,只允许对该文件夹中的一个文件进行索引,
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html