时间戳

首页 > 解决方案 > 使用 selenium 抓取弹出搜索结果

python - 使用 selenium 抓取弹出搜索结果

问题描述

我试图抓取 PH 新闻网站https://www.philstar.com/但它的搜索结果是一个弹出窗口，所以我必须手动点击搜索和使用驱动程序的所有内容。

search_button = driver.find_element(By.TAG_NAME, "img#search_toggle")
search_button.click()
        
search_input = driver.find_element(By.TAG_NAME,"input#zoomd")
search_input.send_keys(KEYWORD)
search_input.send_keys(Keys.RETURN)

使用任何关键字搜索后，有一个按钮显示“来自 TOP SEARCHES 的更多信息”，我想单击以加载更多新闻，但我似乎无法通过驱动程序找到它

wait = WebDriverWait(driver, 10)

XPATH = f'//div[@class="zoomd-widget-content-wrapper"]/zoomd-search-results[3]/section/button'
        
button = wait.until(EC.element_located_to_be_selected((By.XPATH,XPATH)))

button.click()

它似乎是缩放小部件的一部分。知道如何从中刮取吗？

标签： pythonseleniumweb-scraping

解决方案

你可以尝试通过完整的xpath，看看它是否有效？对于zoomd输入，这是路径

/html/body/zoomd-widget-root/zd-widget/div/div[2]/div/zoomd-search-results[3]/section/button

该按钮确实是动态加载的，因此请尝试在点击调用上方添加显式等待以确保它已加载。

推荐阅读