python - 如何在没有硒的情况下抓取动态网站

Question

我面临一个问题，我希望任何人都可以帮助我。我正在尝试在 python 上使用 selenium 包抓取网页，但它不断检测到我正在使用 selenium 并将我重定向到我无法使用的登录页面。我尝试使用假代理，但它仍然检测到我，我尝试更改 chrome 驱动程序中的“$cdc”，但它仍然不起作用。是否有人可以帮助我。这是我正在使用的代码：

options = webdriver.ChromeOptions()
ua = UserAgent()
userAgent = ua.random
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument("--window-size=1920,1080")
options.add_argument('enable-automation')
options.add_argument(f'user-agent={userAgent}')
#options.add_argument('--headless')
driver = webdriver.Chrome()
driver.get("https://www.mcmaster.com/nuts/hex-nuts/medium-strength-steel-hex-nuts-grade-5/")

标签： pythonseleniumselenium-chromedriver