scrapy - 为什么不飞溅渲染此页面？

Question

我正在尝试从使用 Javascript 的时尚网站上抓取，使用 Scrapy 这是页面：https ://www.thekooples.com/us_en/women/ready-to-wear/dresses.html

我有 docker，并按照 splash docs 上的说明在 localhost:8050 上设置 splash。

我能够正确呈现https://quotes.toscrape.com/js/。

据我了解，那是一个 js 页面，我禁用了 js，当我这样做时它看起来确实有所不同。

但是，我未能成功渲染时尚网页。这就是我得到的：

这实际上是页面没有js的样子，所以我知道它是不成功的。会发生什么？

标签： scrapyscrapy-splashsplash-js-render

Answer 1

您可以尝试以下两件事：

1. 增加延迟。您还可以在启动服务器的主页中找到一个示例脚本，您可以在其中等待特定元素出现。
2. 您可以下载并打印 HAR 并查看是否有任何请求失败。如果失败，那么您可能需要在启动请求中添加一些用户代理。