元机器人标记

・1 分钟阅读

Robots.txt教程





如何创建Robots.txt文件

使用我们的Robots.txt生成器创建Robots.txt文件。

分析Robots.txt文件

使用我们的Robots.txt分析器来分析你的Robots.txt文件。

Google也为谷歌网站站长中心提供了类似的工具,并显示了你网站上的Google爬行错误。

示例Robots.txt格式

允许对所有进行索引。

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

禁止对所有 indexing索引

User-agent: *
Disallow: /

特定文件夹的 Disawllow索引

User-agent: *
Disallow: /folder/

禁止bot索引文件夹,只允许对该文件夹中的一个文件进行索引,

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
190929089 profile image