更好的WordPress Robots.txt规则

・2 分钟阅读

WordPress更好的Robots.txt

运行WordPress,你希望搜索引擎抓取,并且索引你的文章和页面,而不是你的核心WP文件和目录,你还需要确保在搜索结果中不包含feed和trackbacks ,声明站点地图也是很好的做法,记住,下面是针对WordPress改进过的新Robots.txt规则:


User-agent: *
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

只需要一个小小的编辑: 更改Sitemap以匹配站点地图(如果没有可用的站点地图,就删除该行)的位置。

我在几乎所有的网站上都使用了这个,如果需要排除任何自定义目录和/或文件,基于实际的站点结构,也可以定制这些规则和SEO 策略。

用法

要将robots的规则代码添加到WordPress-powered站点,只需复制/粘贴代码到一个名为robots.txt ,然后将该文件添加到可访问的root目录中,例如:

https://perishablepress.com/robots.txt

如果你看看Perishable Press的Robots.txt文件内容,您会注意到一个额外的机器人指令,禁止坏机器人抓取访问该站点的blackhole目录。让我们看看:


User-agent: *
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /blackhole/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://perishablepress.com/sitemap.xml

蜘蛛不需要在/wp-admin/中四处爬行,所以,这是不允许的,同样,trackbacks,xmlrpc 和feed也不需要爬网,因此我们不允许这样做,另外,请注意,我们添加了一个显式的Allow指令,允许访问WordPress Ajax文件,最后,我们确认我们的站点地图的位置,只是为了让它正式化一些。

Notes

190929089 profile image