**已关闭。**此问题为not about programming or software development。目前不接受答案。
此问题似乎与a specific programming problem, a software algorithm, or software tools primarily used by programmers无关。如果您认为此问题与another Stack Exchange site相关,您可以留下评论,说明在何处可以找到此问题的答案。
3天前关闭。
Improve this question
今天我收到了一封来自网站管理员工具的电子邮件,声明“Googlebot无法访问CSS和JS文件”。所以我开始更新位于服务器根目录下的robots.txt文件。
原始内容:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM
Sitemap: http://example.com/sitemapindex.xml
我删除了“不允许:/wp-content/themes/”并重新上传文件,但当我在浏览器中查看新文件时,没有任何更改,然后我执行了以下操作:
1.已从根目录删除.txt文件
1.已清除的缓存(W3总缓存)
但是robots.txt仍然可以在我的浏览器中查看。这只能说明一件事,文件是虚拟生成的,对吗?我甚至在另一个浏览器中查看,以确保没有缓存发生。
经过大量的搜索,我没有找到答案,为什么我的robots.txt不会更新或它是从哪里生成的?
这里有人知道发生了什么吗?
我使用的一些插件:
1.更好的WordPress谷歌XML网站Map
- W3总缓存
- Yoast搜索引擎优化
任何帮助都将不胜感激,谢谢。
3条答案
按热度按时间qacovj5a1#
经过几个小时的头部猛击试图弄清楚这一点,结果我完全忘记了我已经启用了Cloudflare。清除缓存完成了这项工作。
希望我的几个小时的痛苦没有白费,其他有类似问题的人被提醒,他们有Cloudflare启用阅读这一点!
wwwo4jvm2#
如果您使用cloudflare,必须在cloudflare缓存菜单中清除该高速缓存。否则,根据浏览器缓存已使用的时间长短,必须再次清除缓存。
dfddblmv3#
我有同样的问题,当我更新我的robotsidertxt,它是恢复到相同的设置之前,也当我删除它,它又回来了,因为它似乎是虚拟创建的网站,但当我更新我的WordPress后,它又开始工作,也许尝试更新WordPress