javascript - 使用 Selenium 从远程页面检索隐藏文本
问题描述
我正在尝试从 AirBNB 中提取所有评论以进行情绪分析。现在我在这里有一个包含 18 条评论的页面，但该页面仅显示 6 条评论（有些评论隐藏在“显示更多”链接中），只有在单击“显示所有 18 条评论”后才会显示 18 条评论。
我正在使用 Selenium 自动提取文本，但并非所有页面都有 18 条评论。我正在使用 XPath 来定位包含所有评论的 div，但似乎评论是使用 javascript 加载的
<div data-plugin-in-point id="Reviews_default", data-section-id="reviews_default"....'some padding attributes here' tabindex=-1>
要找到我正在使用的元素：
br.find_element_by_xpath('/html/body/div[4]/div/div/div/div/div/div[1]/main/div/div/div[4]/div/div/div[2]/section').text
br是对 Selenium 对象的引用
如何从这个 div 的评论中提取所有文本？我不会在这里发布带有自动化的整个代码，因为我认为如果我可以完成这一页，我可以处理自动化以从所有 94 页中提取评论。
解决方案
尝试使用：
element.get_attribute("textContent")
代替
element.text