首页 > 解决方案 > 像 domain.com/index.html 这样的 url 来自哪里以及如何修复 404

问题描述

因此,出于某种原因,爬虫会不断地"/index.html"在现有 URL 的末尾提取 URL 并报告 404。

例子:

domain.com/index.html 
domain.com/pricing/index.html 
domain.com/solutions/index.html 
domain.com/solutions/project-management/index.html

问题是,在我们的网站上,我们有例如"domain.com/pricing". 但我们真的没有"domain.com/pricing/index.html"

我在想:

  1. 是什么导致这些 URL 首先出现在搜索引擎上?
  2. 是否有任何快速解决方法来重定向类似"domain.com/whatever/index.html"的东西"domain.com/whatever"

这一直困扰着我一段时间!

标签: htmlredirectseohttp-status-code-404

解决方案


在我看来,不允许谷歌索引您的页面的最佳选择是添加元:

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

要重定向,您必须通过 cPanel 进行


推荐阅读