时间戳

首页 > 解决方案 > 当“转到最后一页”按钮不起作用时，进入网站的最后一页

python - 当“转到最后一页”按钮不起作用时，进入网站的最后一页

问题描述

我需要到达以下站点链接的最后一页。这是因为当我右键单击一行时，我可以将所有先前的行连同它一起导出为 csv 文件。这样，我可以下载网站上的完整数据。

但问题是该Go to last page选项不起作用。所以我目前正在使用 selenium 单击下一页按钮以最终到达最后一页。但这需要很多时间。

这是我目前正在使用的代码。

from selenium import webdriver
import time

url = "https://mahabocw.in/essential-kit-benefits-distribution/"
driver = webdriver.Chrome()
driver.get(url)

for i in range(1000000):
    next_button = '/html/body/div[1]/div[6]/div/article/div/div/div/div/div[2]/div/div/div[2]/div/div[4]/span[2]/div[3]/button'
    click_next = driver.find_element_by_xpath(next_button)
    click_next.click()

有什么办法可以修改网站中的代码，也许可以制作特定的按钮：Go to last page工作，这样我就可以转到该页面并下载所有数据。或者我可以使用 Selenium 采用一些更好的技术。

任何帮助或建议都会非常有帮助。提前非常感谢。

标签： pythonhtmlseleniumweb-scraping

解决方案

推荐阅读