python - 无需登录即可使用 cookie 和 javascript 抓取请求

Question

我想在没有登录的情况下使用需要 cookie 同意的请求来抓取多个网页。

这是其中一个网站：https ://www.bundesregierung.de/breg-de/aktuelles/

url = "https://www.bundesregierung.de/breg-de/aktuelles/"
jar = requests.cookies.RequestsCookieJar()
jar.set('_pk_uid', 'XXXXXXXXX')
session.cookies = jar
session = requests.Session()
r = session.get(url,  headers=HEADERS)

此解决方案导致“Bitte aktivieren sie JavaScript in Ihrem Browser um alle Funktionen dieser Seite nutzen zu können”，它转换为激活 JavaScript。在这里，我不确定如何在请求中做到这一点。我也尝试指定标题，但结果相似。除此之外，我不喜欢这个解决方案，因为 cookie 将在大约一个月后过期。真正点击同意按钮的解决方案是首选。

标签： pythoncookiespython-requestssession-cookies