时间戳

首页 > 解决方案 > 禁止标题页 robots.txt

.htaccess - 禁止标题页 robots.txt

问题描述

我想禁止 robots.txt 中的 header.php 被索引。文件网址：

https://example.com/header.php

但我不确定什么是正确的：

Disallow: /header.php

或者

Disallow: header.php

标签： .htaccessrobots.txt

解决方案

中指定的 URL 路径robots.txt应始终以斜杠开头（即相对于根的）。

来自Google 的 robots.txt 规范：

[path] 值（如果指定）将从为其提取 robots.txt 文件的网站的根目录中查看（使用相同的协议、端口号、主机和域名）。路径值必须以“/”开头以指定根。路径区分大小写。

所以，你应该写：

Disallow: /header.php

但是，这会阻止爬网，如果链接到此 URL ，它不一定会阻止索引。虽然，我怀疑这只是一个 HTML 片段（？），所以在这种情况下阻止抓取是要做的事情。（但请注意，如果您有很多包含，那么它们最好包含在子目录中并简单地阻止子目录。）

在上线之前在Google 的 robots.txt 测试器中测试您的robots.txt文件。

推荐阅读