html - 像 domain.com/index.html 这样的 url 来自哪里以及如何修复 404
问题描述
因此,出于某种原因,爬虫会不断地"/index.html"
在现有 URL 的末尾提取 URL 并报告 404。
例子:
domain.com/index.html
domain.com/pricing/index.html
domain.com/solutions/index.html
domain.com/solutions/project-management/index.html
问题是,在我们的网站上,我们有例如"domain.com/pricing"
. 但我们真的没有"domain.com/pricing/index.html"
。
我在想:
- 是什么导致这些 URL 首先出现在搜索引擎上?
- 是否有任何快速解决方法来重定向类似
"domain.com/whatever/index.html"
的东西"domain.com/whatever"
?
这一直困扰着我一段时间!
解决方案
在我看来,不允许谷歌索引您的页面的最佳选择是添加元:
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
要重定向,您必须通过 cPanel 进行
推荐阅读
- terraform - Terraform:如何将 Windows 工作节点添加到 eks 集群?
- webmethods - 如何使用 WebMethods 检查字符串是否为回文
- html - 更改按钮的字体
- firebase - 如何根据存储在云 Firestore 中的日期触发云功能?
- docker - 了解 Docker 覆盖网络
- python - 根据df中列值的多个条件过滤df?
- javascript - 模块化算术和大幂幂
- file-format - C#.NET 中的 GEDCOM 兼容文件输出
- vba - 如何将文本框链接到 Excel 中特定工作表上的特定单元格?
- javascript - JavaScript 取消组合对象中的数据