ssl - URL 阻止机器人

我有一个客户，我正在尝试通过 SSL 免费设置 SSL 证书，就像我之前做过 100 次一样。

我在下面创建了文件结构public_html：

然后我尝试下载证书并收到以下失败消息：

警告：您的验证 URL 没有向我们的验证服务器返回正确的内容。该 URL 看起来像是在阻止机器人，并且无意中阻止了我们的服务器接收正确的内容。请联系您的房东、专业开发人员或管理员以获取更多修复帮助。

我认为这是由于robots.txt文件，看了一下，它包括以下内容：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

所以我将其更改为暂时允许所有机器人使用：

User-agent: * 
Disallow:

然后我重试了这个过程，上传了新的验证文件，但我仍然收到关于阻止机器人的 URL 的相同警告消息。有没有人遇到过这个并知道如何解决它？

我还尝试通过 DNS .txt 记录和 FTP 进行验证，两者都返回相同的失败通知。

托管是通过 GoDaddy 进行的，他们使用的是 Linux cPanel。该网站是通过 WordPress 制作的。

键入example.com/robots.txt返回正确的robots.txt文件。

感谢您的所有帮助！

标签： sslbotsrobots.txtlets-encrypt

我现在已经解决了这个问题。robots.txt正如我最初所想的那样，这确实与文件有关。它最初无法正常工作的原因是该站点仍然与旧文件一起缓存，该文件阻止了整个站点的机器人。

我在.htaccess文件中添加了一些代码来强制重新验证缓存：

ExpiresActive On
ExpiresDefault A1
Header append Cache-Control must-revalidate

完成此操作并使用我的新robots.txt文件后，我能够将新的 SSL 证书安装到现在正在运行的网站上！我希望这可以帮助任何有同样问题的人。

请记住之后删除上述代码，因为它会暂时停止您的网站缓存。