web - 网页在加载之前被 Google 抓取
问题描述
我有一个正在开发的网站，我正在努力改进 SEO。该网站有一个主页，可根据用户位置加载内容，加载内容需要几秒钟的时间。但我担心爬行机器人不会等待页面加载并索引一个空页面。解决这个问题的最佳方法是什么？
解决方案
您可以尝试使用 Google 的Fetch As Google来了解 Google 如何看待您的内容。Fetch as Google 工具使您能够测试 Google 如何在您的网站上抓取或呈现 URL。您可以使用 Fetch as Google 查看 Googlebot 是否可以访问您网站上的页面、它如何呈现页面以及是否有任何页面资源（例如图像或脚本）被 Googlebot 阻止。此工具模拟 Google 正常抓取和渲染过程中的抓取和渲染执行，对于调试您网站上的抓取问题很有用。
此外，请确保您没有阻止来自搜索引擎的 Javascript。