html - Scrapy - 缺少 html 正文

Question

使用 scrapy 一些网站不提供完整的 html 代码，即。https://www.amazon.de/Warner-Bros-5051891109537-GIOCO-MOVIE/dp/B00HR6RHBK

我尝试获取所有报价列表的链接（https://www.amazon.de/gp/offer-listing/B00HR6RHBK/ref=dp_olp_new?ie=UTF8&condition=new）

Scrapy 就是找不到它。

试：

$刮壳“ https://www.amazon.de/Warner-Bros-5051891109537-GIOCO-MOVIE/dp/B00HR6RHBK ”

print(response.xpath("//a[包含(@href, 'new')]/@href"))

结果：

[]

标签： htmlscrapy

Answer 1

该链接在页面源中不存在。所以Scrapy找不到它。尝试寻找 /gp/offer-listing/B00HR6RHBK/ref=dp_olp_all_mbc?ie=UTF8&condition=all 看看你是否能找到那个链接