时间戳

首页 > 解决方案 > 访问页面内容而不是 cookie 弹出窗口 (SELENIUM PYTHON)

python - 访问页面内容而不是 cookie 弹出窗口 (SELENIUM PYTHON)

问题描述

几天来，我一直在寻找解决问题的方法，但没有找到任何可行的方法。我正在创建一个抓取网站的程序，我想收集“p”和“hn”标签的所有内容。我唯一的问题是，在某些网站上，会出现一个 cookie 弹出窗口，并且无法正确抓取。

问题是我抓取了每种类型的网站，所以这意味着它并不总是相同的模式，并且几乎不可能被 xpath / CSSselector 接受。

我尝试了很多东西，比如搜索按钮，然后查看里面是否有“接受”：

try:
btns = driver.find_elements_by_tag_name('button')
btntxt = [elem.text for elem in btns]
print(btntxt)
btntitle = [elem.get_attribute('title') for elem in btns]
for i in range(0, len(btns)-1):
    if btn[i].find("accept") != -1:
        btns[i].click()
except NoSuchElementException:
pass

我也尝试接受所有 cookie，但它无助于我关闭弹出窗口：

cookies_list = driver.get_cookies()
for cookie in cookies_list:
   cookies_dict = {}
   cookies_dict['name'] = cookie['name']
   cookies_dict['value'] = cookie['value']
   driver.add_cookie(cookies_dict)

有没有人有其他想法来接受 cookie 并关闭这些弹出窗口？或者另一种完全忽略弹出窗口的解决方案？在此先感谢希望我已经足够清楚了！

标签： pythonseleniumweb-scrapingcookiespopup

解决方案

推荐阅读