时间戳

首页 > 解决方案 > 使用 selenium 重定向到新页面后如何抓取新的刷新数据

python - 使用 selenium 重定向到新页面后如何抓取新的刷新数据

问题描述

我正在使用 python 进行数据抓取工作，我想在单击重定向按钮后抓取新的重定向页面数据。

这是我尝试过的代码。

browser =  webdriver.Firefox()
browser.get("https://www.cbsl.gov.lk/en/statistics/economic-indicators")
window_before = browser.window_handles[0]
print(window_before)
browser.find_element_by_xpath('/html/body/div[2]/div[3]/div/div/div/div/div/div/div/div/div/div/div/div/div/div/div/div[4]/div[2]/p[1]/a').click()
window_after = browser.window_handles[1]
browser.switch_to_window(window_after)
print(window_after)

bs_obj = BSoup(browser.page_source,'lxml')
table = bs_obj.find("table", id="statTB")
print(table)

这将重定向到新页面。但在打印表格后它没有显示任何内容。我认为它仍在旧页面上尝试。

标签： pythonseleniumselenium-webdriverweb-scrapingwebdriver

解决方案

不会。当您切换到新窗口时，browser.page_source会返回新窗口的 HTML，但您可能需要等到 requiredtable出现在 DOM 中：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

...
browser.switch_to_window(window_after)
table = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, "statTB")))
print(table.text)

推荐阅读