html - 不工作

Question

我有一个页面：

https://www.luckycheckout.com/goto/282/cs/1?ct=1

其中在 head 部分包含以下代码行：

<meta name="robots" content="noindex, nofollow" />

我的“ robots.txt ”文件中也有“ Disallow: /goto ”。

然而，尽管如此，谷歌搜索控制台仍在抱怨该页面是：

已编入索引，但已被 robots.txt 阻止

据我所知，一切都是有效和正确的，不应该被索引，任何人都可以解释谷歌在抱怨什么吗？

谢谢

标签： htmlmetarobots.txt

Answer 1

您需要在robots.txt文件中删除Disallow此站点的：

当 Googlebot 下次抓取该页面并查看标签或标题时，Googlebot 会将该页面完全从 Google 搜索结果中删除，而不管其他网站是否链接到该页面。

重要提示：要使 noindex 指令生效，该页面不得被 robots.txt 文件阻止。如果页面被 robots.txt 文件阻止，爬虫将永远不会看到 noindex 指令，并且该页面仍然可以出现在搜索结果中，例如如果其他页面链接到它。
来源： https: //support.google.com/webmasters/answer/93710

---

您还可以使用 Google Search Console 从 Google 索引中删除您拥有的网站。您可以在Google Webmaster 文档中找到更多信息。