python-3.x - 从动态加载的站点中提取数据

Question

我正在制作新的网络抓取应用程序来为我寻找工作。我对 justjoin.it 站点有疑问，该站点在移动滑块时会动态加载工作机会。所以我有一个问题，我是否必须使用例如 selenium 模块来远程移动滑块，或者是否有可能从加载工作机会或任何其他更好的机会获取文件。

到那时我只使用 Python3 中的 requests 和 BeatifulSoup 模块来抓取网站。

标签： python-3.xseleniumweb-scraping

Answer 1

我会以不同的方式处理它。如果您检查在加载页面时发出的请求（https://justjoin.it/），您会发现有一个负责获取所有优惠：https ://justjoin.it/api/offers .

作为响应，它以 JSON 格式返回所有报价。您可以从中刮取所需的信息。