python - 您如何使用在网络选项卡中不生成 api 的 scrapy 抓取网站？

问题描述

我之前已经抓取了很多网站，但我就是无法理解如何使用 scrapy抓取这个网站。我基本上有一个输入文件，其中包含公司名称、他们的股票代码、住所名称等。问题在于，在检查后在“网络”选项卡中都没有生成 json api，或者即使没有显示选定的参数，选择某些字段后url都不会改变。我想抓取公司名称、出版日期、pdf 文件链接和每家公司的年份。

有谁知道使用scrapy抓取这样一个网站的明确方法？

标签： pythonweb-scrapingscrapy

python - 您如何使用在网络选项卡中不生成 api 的 scrapy 抓取网站？

问题描述

解决方案

推荐阅读