防止通过.htaccess直接访问robots.txt

bvuwiixz 于 2023-10-23 发布在其他

关注(0)|答案(2)|浏览(113)

我想阻止用户访问我的robots.txt文件，但我仍然希望搜索引擎读取它。这是可能的吗？如果是的话，我该怎么做？我相信，如果我写下面的.htaccess它会工作，但我担心它也会阻止搜索引擎访问它。
命令拒绝，允许拒绝所有
谢谢

2条答案

由于标准的robots.txt是从你的域名的根服务，除非你能以某种方式可靠地区分搜索引擎和用户，我不认为你所要求的是可能的。
您可以尝试通过用户代理或IP范围进行过滤。
有没有什么原因让你不希望你的用户看不到你的robots.txt文件中的内容？毕竟这个文件中的所有内容都是公开的。

您可以使用x-robots-tag或robots Meta tags代替robots.txt来减少对文件的依赖。例如，将以下指令添加到.htaccess文件中。

<Files ~ "\pdf$">
     #don't index pdf files
     Header set X-Robots-Tag "noindex, nofollow"
</Files>