web-crawler - 为什么 Bing 爬虫无法获取我的 Angular 网页的动态内容？

问题描述

我的 SPA 网站（基于 Node/Express/Mongo/Angular X）启动并运行。我创建了一个 sitemap.xml 并提交到 Microsoft Bing，从服务器日志中，我看到他们开始爬网。但是，我注意到调用了页面 URL，但没有调用该页面的关联 API。所以，基本上它只是索引每个页面的静态骨架，而不是动态的真实内容。

我用谷歌搜索，看到有人说“谷歌无法索引动态内容”，正如本文中所建议的那样。但是，我也看到其他人说爬虫只是一个人在浏览，它应该得到它的动态内容。

我很困惑。有人可以澄清吗？如何解决？

标签： web-crawlersingle-page-application

网络爬虫不执行 JavaScript。谷歌可能有一个更复杂的爬虫，但大多数都没有。对于数万亿页来说，它的计算量太大了。添加一个静态链接供爬虫跟踪。见https://stackoverflow.com/a/28075506/148844

Bing 不会索引 JavaScript 生成的内容。

https://www.bing.com/webmaster/help/webmaster-guidelines-30fba23a

网站技术您网站上使用的技术有时会阻止 Bingbot 找到您的内容。富媒体（Flash、JavaScript 等）可能导致 Bing 无法通过导航进行爬网，或者看不到网页中嵌入的内容。为避免出现任何问题，您应该考虑实施包含与您的丰富版本相同的内容元素和链接的低级体验。这将允许没有启用富媒体的任何人（Bingbot）查看您的网站并与之互动。

富媒体警告——不要将内容链接隐藏在 JavaScript 中

富媒体警告——不要将链接隐藏在 Javascript/flash/Silverlight 中；也不要将内容放在这些内容中

下层体验增强了可发现性——避免将内容包含在 Flash 或 JavaScript 中——这些块爬虫形成了查找内容

web-crawler - 为什么 Bing 爬虫无法获取我的 Angular 网页的动态内容？

问题描述

解决方案

推荐阅读