我可不想谷歌搜索我的网页
以下是示例：http://example.com/blog-page/page/1http://example.com/blog-page/page/2http://example.com/blog-page/page/3
我还有一些其他的分页页面，比如：http://example.com/product-category/product/page/1http://example.com/product-category/product/page/2http://example.com/product-category/product/page/3
下面是我的robots.txt的代码
User-agent: *
Disallow: */page/*
3条答案
按热度按时间i2byvkas1#
我觉得应该是
多个星号是不必要的，你必须确保包括整个路径，因为
/page将是你的网站的根q1qsirdb2#
您可以使用它来帮助您生成robots.txt
http://tools.seobook.com/robots-txt/generator/
3b6akqbq3#
User-Agent和Disallow之间不应该有空行。尾部的*是完全不必要的，因为Disallow规则（包括通配符规则）都是“以”开头的。除此之外，您的
robots.txt文件看起来会阻止搜索引擎分页。您可以使用Google's tool进行测试：