python - 如何在不被拒绝许可的情况下通过无头驱动程序访问站点
问题描述
我正在尝试使用无头 chrome 驱动程序检索网站的 html 代码。但是我收到“权限被拒绝”消息。如果我使用“常规”驱动程序,一切正常。
有没有办法绕过它?
这是我的第一篇文章,所以我为任何潜在的格式错误道歉
from selenium import webdriver
#Headless driver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
driver1 = webdriver.Chrome(executable_path='./chromedriver', options=chrome_options,
service_args=['--verbose', '--log-path=/tmp/chromedriver.log'])
driver1.get('https://www.size.co.uk/')
html = driver1.page_source
html
我得到的信息是:
<html xmlns="http://www.w3.org/1999/xhtml"><head>\n<title>Access Denied</title>\n</head><body>\n<h1>Access Denied</h1>\n \nYou don\'t have permission to access "http://www.size.co.uk/" on this server.<p>\nReference #18.ac81655f.1548818550.73b12da\n\n\n</p></body></html>
普通司机:
driver = webdriver.Chrome('./chromedriver')
driver.get('https://www.size.co.uk/')
html = driver.page_source
driver.quit()
html
理想情况下,我希望输出与后一种情况一样,而不会每隔几秒钟弹出一次新窗口。
解决方案
添加以下代码片段让页面返回给我:
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36'
chrome_options.add_argument('user-agent={0}'.format(user_agent))
该网站显然正在检查无头浏览器,然后拒绝它们访问。这是一篇关于避免检测的文章:使 Chrome Headless Undetectable
要获取驱动程序使用的用户代理,您可以运行以下命令:
driver.execute_script("return navigator.userAgent")
Chrome 的无头用户代理是这样的:
u'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/71.0.3578.98 Safari/537.36'
推荐阅读
- c# - 从 C# 中的另一个表单访问文本框 - 请注意,我要为其设置框的表单是第一个表单
- c# - 鼠标事件未在 Windows WPF 中触发
- jsp - 如何使用超链接将数据发送到 servlet
- ios - 更改框架时视图重新加载
- c++ - char* 与 uint8_t 的字符串比较
- java - 本地文件是否在更新后仍然存在?(LibGDX)
- php - 我想在多行中插入多个帖子值
- java - How does the AudioInputStream.read(byte[] b) function work?
- flutter - Get notification when user pauses dragging
- php - Unlink/Delete files which starts with a dot