你真正应该做的是把你不想公开可见的文档放在一个文件夹中，这样你就可以在你的托管环境中关闭该特定文件夹的“目录浏览”，并在你的robots.txt文件中设置一个“禁止”语句。
如果你没有禁用该文件夹的目录浏览，那么人们仍然可以导航到该URL，无论你是否在robots.txt中设置了“禁止”。
您可以在Web配置中关闭特定文件夹的目录浏览，如下所示：

<location path="special_directory_name_here">
   <system.webServer>
      <directoryBrowse enabled="false" />
   </system.webServer>
</location>

字符串
你可以在你的网站的根目录下添加一个robots.txt文件，并使用“Disallow”语句，如下所示：

User-agent: *
Allow: /User-agent: *
Allow: /
Disallow: /docs/

型

如果您不想抓取，请使用robot.txt来禁止文件。喜欢

User-agent: *
Allow: /User-agent: *
Allow: /
Disallow: /owa/

字符串
允许允许路径不允许不允许路径。用户代理是搜索引擎试图抓取。
只需在根目录下创建robot.txt
你可以确保把doc文件夹下，在禁止一样

User-agent: *
   Allow: /User-agent: *
   Allow: /
   Disallow: /docs/

型
用文件夹地址更改文件。