python - HTML子页面更改而不更改url

Question

我尝试使用python抓取该产品的评论，但我注意到我更改了评论页面的页面，URL根本没有改变，所以我不知道如何在我的程序中切换评论页面，我要抓取的 URL 在这里：https ://item.jd.com/7420374.html#comment

标签： pythonhtmlweb-scrapingweb-crawler

Answer 1

在headless模式下使用selenium点击review按钮，你也可以用它代替requests来获取html。