Googlebot模式匹配

・1 分钟阅读

使用字符序列匹配 *

你可以使用 * 匹配字符序列。

阻止访问以它开头的所有子目录private:


User-Agent: Googlebot
Disallow: /private*/


阻止对包括以下内容的所有URLs的访问 ?


User-agent: *
Disallow: /*?*


匹配URL的结束字符,使用 $

你可以使用 $ 指定匹配URL结尾的字符。

阻止任何以下列方式结束的URLs .php


User-Agent: Googlebot
Disallow: /*.php$


你可以将此模式匹配与允许指令组合使用,

排除包含? 的所有URL确保Googlebot不会抓取重复页面,以?结尾的网址


User-agent: *
Allow: /*?$
Disallow: /*?


Disallow:/*?

Allow: /*?$

190929089 profile image