python - Selenium 页面加载为空白，除非使用相同的配置文件手动打开浏览器

Question

我正在使用 selenium 进行爬行项目，但我在特定网页（chrome 和 firefox）上遇到了困难。

我发现了 2 种有效的解决方法，但我想知道为什么会发生这个问题以及如何避免它。

1）手动打开chrome，然后用我的用户配置文件打开selenium。如果我手动启动 chrome 然后运行：

from selenium import webdriver
options.add_argument(r"user-data-dir=C:\Users\User\AppData\Local\Google\Chrome\User Data")
driver = webdriver.Chrome(options=options)

页面按预期加载

/?anything2）通过将页面附加到在selenium中预期加载的url来传递请求中的变量

出于某种原因，尽管没有加载，但网页在标题中具有功能......我怀疑这可能是一个线索，但我不知道足以确定原因。

标签： pythonseleniumselenium-webdriverautomationweb-crawler