python - 我正在尝试使用 python 请求抓取一个网站，当单击加载时不会更改其链接，我尝试了更多但看起来它的 json

Question

我正在尝试从网站上抓取所有添加链接，并且我是否成功地这样做了。请检查链接 https://www.olx.in/hyderabad_g4058526/q-note-9-pro?isSearchCall=true

网站页面有一个加载更多按钮，用于加载更多添加。[1]：https://ibb.co/DGNsG6j"

问题是单击加载更多不会更改页面的 URL，因此我只能抓取默认显示的初始链接请帮助我。

标签： pythonwebweb-scraping

Answer 1

您是否考虑过使用 Selenium？它能够通过定位 HTML 标签和点击链接来自动点击网站。https://selenium-python.readthedocs.io/index.html