时间戳

首页 > 解决方案 > 尽管 robots.txt 中有“noindex”，但 Google Search Console 返回“否：在 'robots' 元标记中检测到'noindex'”

html - 尽管 robots.txt 中有“noindex”，但 Google Search Console 返回“否：在 'robots' 元标记中检测到'noindex'”

问题描述

我正在尝试在 Google 搜索控制台上为网站编制索引，同时检查网址时显示“请求索引”

当我这样做时，“否：在'机器人'元标记中检测到'noindex'”显示为未编制索引的错误。

这是我的 robots.txt：

User-agent: *
noindex:
Sitemap: http://www.mywebsitehere.com/sitemap_index.xml

我在 WordPress 主机上。

我已经在以前版本的谷歌搜索控制台上尝试过机器人测试器，它对/所有链接显示“允许”。

标签： htmlwordpressindexingrobots.txtgoogle-search-console

解决方案

该noindex规则不受 Google 官方支持：

为了维护一个健康的生态系统并为未来可能的开源版本做准备，我们将于 2019 年 9 月 1 日停用所有处理不受支持和未发布的规则（例如 noindex）的代码。

或者，您可以：

  • 机器人元标记中的Noindex ：在 HTTP 响应标头和 HTML 中都受支持，noindex 指令是在允许抓取时从索引中删除 URL 的最有效方法。
  • 404 和 410 HTTP 状态代码：这两个状态代码都表示该页面不存在，一旦这些 URL 被抓取和处理，它们就会从 Google 的索引中删除。
  • 密码保护：除非使用标记来表示订阅或付费内容，否则隐藏登录后的页面通常会将其从 Google 的索引中删除。
  • robots.txt 中的禁止：搜索引擎只能将他们知道的页面编入索引，因此阻止该页面被抓取通常意味着其内容不会被编入索引。虽然搜索引擎也可能会根据来自其他页面的链接对 URL 进行索引，但不会看到内容本身，但我们的目标是在未来使此类页面不那么可见。
  • Search Console 删除 URL 工具：该工具是一种从 Google 搜索结果中临时删除 URL 的快速简便的方法。

来源： 关于 robots.txt 中不支持的规则的说明 | 谷歌网站管理员中心博客。

推荐阅读