首页 > 解决方案 > 我正在尝试用 scrapy python 抓取这个网站。我抓取了大部分信息,但由于某种原因,xpath 没有抓取分区

问题描述

我正在尝试抓取的页面

这是我的代码

 Download_links = response.xpath('//div[@class = "download-block"]').extract()

这将返回一个空列表。为什么我不能只刮这个 div?

这是我试图为我试图刮的部分刮 照片的页面的一部分

请提供一些帮助

标签: pythonxpathweb-scrapingscrapy

解决方案


您得到一个空列表,因为该部门不在页面源中。在编写 xpath 之前,请始终检查数据是否存在于页面源中。数据可能在页面的其他部分,请搜索​​页面源(ctrl+u)并获取相同的正确xpath。在此页面中,下载链接位于页面源中。 查看页面源的图像


推荐阅读