python - Scrapy 从网站返回未更新的数据

Question

我正在为网站创建产品监视器，但遇到了问题。爬取时，Scrapy 没有获取站点的更新版本。当我在有货的情况下进行爬网时，来自站点的 json 数据返回 OutOfStock。如果我从浏览器查看网站，则 JSON 变量是 InStock。如果我 cURL 网站，JSON 变量是 InStock。

如果我使用 scrapy 检查始终有货的产品，JSON 变量会返回 InStock。

我用蜘蛛尝试了不同的设置，但没有任何效果。

我也尝试使用该scrapy fetch命令，并在一个 scrapy shell 中进行抓取，但没有给我更新的 JSON 数据。

JSON 数据位于网站上的 ld+json 脚本元素中。

这是我试图抓取的网站：https ://www.target.com/p/meshmonitors/-/A-79659825

标签： pythonweb-scrapingscrapy