javascript - 无法通过在 Python 中使用 execute_script 进行网页抓取来获取所有 html 代码

Question

我正在尝试使用 Python 获取用于网络抓取的 html 代码。我选择了房地产中介的网站。

在执行更改页面的按钮的 onclick 事件之前，我需要获取此元素本身。然而，让我们进入下一页或上一页的按钮（用符号“>”和“<”设计）不会显示在代码中。

你能否就这个问题提出一些建议。

这是我的代码

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import requests

browser = webdriver.Chrome()
url = "https://www.centris.ca/en/properties~for-sale?view=Thumbnail"
browser.get(url)

innerHTML = browser.execute_script("return document.body.innerHTML")
print(innerHTML)

标签： javascriptpythonseleniumweb-scraping

Answer 1

只需使用以下代码行即可单击链接而不会看到其内容：

browser.find_element_by_xpath("//li[@class='next']/a").click()