在WordPress指南中)(如何优化你的Robots.txt以优化你的搜索引擎

・8 分钟阅读

最近有一个读者问我们如何优化robots.txt文件以改进搜索引擎优化,robots.txt文件告诉搜索引擎如何抓取你的网站,这使得它成为一个强大的搜索引擎优化工具,在本文中,我们将向你展示如何为SEO创建一个完美的robots.txt文件。

什么是robots.txt文件?

robots.txt是一个文本文件,网站所有者可以指导搜索引擎机器人如何爬网和索引网站。

它通常存储在root目录中,也被称为你网站的主文件夹,robots.txt文件的基本格式如下所示:


User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]


Sitemap: [URL of your XML Sitemap]


你可以有多行指令来允许或禁止特定的URLs,并且添加多个站点地图,如果不禁用一个URL,那么搜索引擎机器人假定它们被允许爬行。

下面是一个robots.txt示例文件的外观:


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml



在上述robots.txt示例中,我们允许搜索引擎抓取和索引WordPress上传文件夹中的文件。

此后,我们禁止搜索机器人爬行和索引plugins和WordPress admin文件夹。

最后,我们提供了XML站点地图的URL 。

你的WordPress网站是否需要一个robots.txt?

如果你没有robots.txt文件,搜索引擎仍然会抓取,并且索引你的网站,但是,你不能告诉搜索引擎哪些网页或文件夹不应该爬行。

当你首次启动博客,并且没有很多内容时,这将不会产生很大的影响。

然而随着网站的增长和内容的增长,你可能想要更好地控制网站的爬网和索引。

这就是为什么。

搜索机器人对每个网站都有一个抓取配额。

这意味着它们在抓取会话期间抓取一定数量的页面,如果他们没有完成网站上的所有网页爬行,那么他们会回来,并且恢复下一个会话。

这会降低你的网站索引率。

你可以通过禁止搜索机器人试图抓取你的WordPress管理页面,插件文件和主题文件夹等不必要的页面来解决这个问题。

通过禁止不必要的页面,你可以保存你的爬网配额,这有助于搜索引擎在你的站点上抓取更多页面,并尽可能快地索引它们。

使用robots.txt文件的另一个好理由是,您希望阻止搜索引擎索引您网站上的帖子或页面。

它不是隐藏通用公共内容的最安全方法,但是,它会帮助你防止他们在搜索结果中出现。

理想的robots.txt文件应该看起来像什么?

很多流行博客使用一个非常简单的robots.txt文件,根据特定站点的需要,它们的内容可能有所不同:


User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml


这个robots.txt文件允许所有的机器人索引所有内容,并为他们提供指向网站XML站点地图的链接。

对于WordPress站点,我们在robots.txt 文件中推荐以下规则,


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml


这告诉搜索机器人索引所有WordPress图像和文件,它不允许搜索机器人索引WordPress插件文件,WordPress管理区域,WordPress自述文件和附属链接。

通过将站点地图添加到robots.txt文件,你可以轻松地使Google机器人查找站点上的所有页面。

既然你了解了理想的robots.txt文件,让我们来看看如何在WordPress中创建robots.txt文件。

如何在WordPress中创建robots.txt文件?

在WordPress中创建robots.txt文件有两种方法,你可以选择最适合你的方法。

方法1:使用Yoast SEO编辑robots.txt文件

如果你使用Yoast SEO插件,那么它带有一个robots.txt文件生成器。

你可以使用它直接从WordPress管理区域创建和编辑robots.txt文件。

只需进入WordPress管理中的SEO工具页,然后点击文件编辑器链接。

File editor tool in Yoast SEO

在下一页,Yoast SEO页面将显示你现有的robots.txt文件。

如果你没有robots.txt文件,那么Yoast SEO将为你生成一个robots.txt文件。

Create robots.txt file using Yoast SEO

默认情况下,SEO文件生成器的Yoast robots.txt将向robots.txt file:添加以下规则,


User-agent: *
Disallow: /


删除此文本很重要,因为它阻止所有搜索引擎爬上你的网站。

删除默认文本后,你可以继续,并且添加你自己的robots.txt规则,我们建议使用上面共享的理想robots.txt格式。

完成后,不要忘记单击"保存robots.txt文件"按钮来存储更改。

方法2.手动使用FTP编辑robots.txt文件

对于此方法,您将需要使用FTP客户端来编辑robots.txt文件。

只需使用FTP客户端连接到您的WordPress主机帐户即可。

进去后,你就可以在你的网站文件夹的root中看到robots.txt文件了。

Editing WordPress robots.txt file using FTP

如果你没有看到,那么你可能没有robots.txt文件,这样你就可以继续创造一个。

Create robots.txt file using FTP

robots.txt是纯文本文件,这意味着可以将它下载到计算机中,使用任何普通的文本编辑器(如记事本或TextEdit )。

保存更改后,你可以将它上传到网站文件夹的root 。

如何测试robots.txt文件?

一旦你创建了robots.txt文件,一旦使用robots.txt测试工具测试它总是一个好主意。

有很多robots.txt测试工具,但是,我们建议使用Google Search Console中的工具。

只需登录到你的谷歌搜索控制台帐户,然后切换到旧的谷歌搜索控制台网站。

Switch to old Google Search Console

这将带你到旧的谷歌搜索控制台界面,从这里你需要启动位于'crawl菜单下的robots.txt测试工具。

Robots.txt tester tool

工具会自动获取你的网站文件的robots.txt,并突出显示错误和警告,如果发现。

最终想法

优化robots.txt文件的目标是防止搜索引擎爬行不公开的页面,例如,你的WordPress插件文件夹中的页面或管理文件夹中的页面。

SEO专家的一个常见神话是,阻止WordPress类别,标签和存档页面将提高抓取速度,并且导致更快的索引和更高的排名。

这不是真的 ,它也反对谷歌的网站管理员指南。

我们建议您按照上述robots.txt格式为您的网站创建robots.txt文件。

190929089 profile image