Robots.txt教程

如何创建Robots.txt文件

使用我们的Robots.txt生成器创建Robots.txt文件。

分析Robots.txt文件

使用我们的Robots.txt分析器来分析你的Robots.txt文件。

Google也为谷歌网站站长中心提供了类似的工具，并显示了你网站上的Google爬行错误。

示例Robots.txt格式

允许对所有进行索引。

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

禁止对所有 indexing索引

User-agent: *
Disallow: /

特定文件夹的 Disawllow索引

User-agent: *
Disallow: /folder/

禁止bot索引文件夹，只允许对该文件夹中的一个文件进行索引，

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html