selenium - 如何使用 selenium 和 GeckoDriver 显示搜索结果?
问题描述
我正在尝试使用无头 WebDriver 和 Selenium 打印 DuckDuckgo 的搜索结果。但是,无论我搜索什么 ID 或类名,无论等待加载多长时间,我都无法找到引用搜索结果的 DOM 元素。
这是代码:
opts = Options()
opts.headless = False
browser = Firefox(options=opts)
browser.get('https://duckduckgo.com')
search = browser.find_element_by_id('search_form_input_homepage')
search.send_keys("testing")
search.submit()
# wait for URL to change with 15 seconds timeout
WebDriverWait(browser, 15).until(EC.url_changes(browser.current_url))
print(browser.current_url)
results = WebDriverWait(browser,10)
.until(EC.presence_of_element_located((By.ID,"links")))
time.sleep(10)
results = browser.find_elements_by_class_name('result results_links_deep highlight_d result--url-above-snippet') # I tried many other ID's and class names
print(results) # prints []
我开始怀疑在 DuckDuckGo 中避免网络抓取存在一些技巧。有人有线索吗?
解决方案
我已更改为使用 cssSelector 然后它可以工作。我使用 java,而不是 python。
List<WebElement> elements = driver.findElements(
By.cssSelector(".result.results_links_deep.highlight_d.result--url-above-snippet"));
System.out.println(elements.size());
//10
推荐阅读
- json - 使用 JSON 数据创建的 Angular 动态表单
- android - 如何在android中使用Volley获取数组的第一个值
- javascript - 将外部(usb3)相机镜头流式传输到 chrome for android 中的视频元素
- amazon-web-services - AWS EMR 火花集群 - 未找到文件异常
- sql - 提高 oracle 中的更新性能
- string - 如何在powershell中解析字符串
- javascript - 在 JavaScript 中从文件中读取数据后更新视图
- php - 是否有用于制作 LibreOffice 导出的 HTML/PHP 代码?
- r - 根据它们所在的连续值的数量替换列表中的值
- python-3.x - matplotlib 中的子图和 hlines 不能一起工作