python-3.x - 如何使用 selenium python 自动分页？（无需手动选择下一步按钮）

Question

我正在抓取图像的网站列表，使用 selenium webdriver+scrapy 但每个网站的下一个按钮具有不同的类/div 名称，如何自动查找不同站点中的下一页进行抓取？

标签： python-3.xselenium-webdriverweb-scrapingscrapypython-requests

Answer 1

这是分页最基本的结构：

page_count = 1
while (nextbutton.isEnbled):
# Increase page_count value on each iteration on +1
page_count += 1
try:
    nextbutton.click()
except NoSuchElementException:
    # Stop loop if no more page available
    break