python - 通过“加载更多”按钮使用 Python 在搜索结果中抓取 URL（保加利亚网站）

Question

我想像这样抓取整个搜索结果集：（此搜索是针对“土豆”）

картофи | Vesti.bg https://www.vesti.bg/tarsene?q=%D0%BA%D0%B0%D1%80%D1%82%D0%BE%D1%84%D0%B8

问题是这里有一个“加载更多”按钮（“ВИЖ ОЩЕ”/“查看更多”）：

选择器：

body > div.container-fluid > div.vesti-mainWrap > div > section > div.main-content.leading-news.search-page-form > div > div > div.col-12.section-more-holder

路径：

/html/body/div 1 /div[2]/div/section/div 1 /div/div/div[32]

而且我不知道如何使用请求和发布/获取方法来加载整个结果集（之后我会刮掉）。

有任何想法吗？

标签： pythonweb-scrapingpython-requests

Answer 1

实现这一目标的一种方法是使用库selenium。您可以简单driver.find_element_by_xpath('/html/body/div1/div[2]/div/section/div1/div/div/div[32]').click()地自动单击按钮。之后，您将抓取新加载的数据。