User-agent: *
Disallow: /images/
Disallow: /content/
Disallow: /ui/
Disallow: /js/
Disallow: /*?* 
​
Sitemap: https://blog.csdn.net/s/sitemap_index/index_site_map.xml
Sitemap: https://blog.csdn.net/s/sitemap_index/sitemap_list_index_category.xml
Sitemap: https://blog.csdn.net/s/sitemap_index/sitemap_list_index_list.xml
Sitemap: https://blog.csdn.net/s/sitemap_index/sitemap_list_index_time.xml

from selenium import webdriver
from selenium.webdriver import ChromeOptions
import time
​
browser = webdriver.Chrome(executable_path=r'chromedriver.exe')
browser.get('https://www.baidu.com')
time.sleep(2)
browser.quit()

import time
import random
​
# 随机等待一段时间
def wait_a_time(num=0):
    if num<=0:
        time.sleep(random.randint(1,9))
    else:
        time.sleep(num)
        
# 设置隐式等待
driver.implicitly_wait(10)
​
from selenium.webdriver.support.wait import WebDriverWait
​
WebDriverWait(driver,timeout,poll_frequency=0.5,ignored_exceptions=None)
​
#driver：浏览器驱动
#timeout：最长超时时间，默认以秒为单位
#poll_frequency：检测的间隔步长，默认为0.5s
#ignored_exceptions：超时后的抛出的异常信息，默认抛出NoSuchElementExeception异常。

WebDriverWait(driver, timeout).until(method, message=’’)
WebDriverWait(driver, timeout).until_not(method, message=’’)
print(time.ctime())
try:
    WebDriverWait(driver, 10).until(lambda the_driver: the_driver.find_element_by_id('kw'), '失败')
except Exception as e:
    print(e)
print(time.ctime())

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
​
wait = WebDriverWait(driver,10,0.5)
element =wait.until(EC.presence_of_element_located((By.ID,"kw")),message="")
# 此处注意，如果省略message=“”，则By.ID外面是三层()

# selenium提供的元素定位的方法
## CSS选择器 相关的方法
browser.find_element_by_css_selector(selector)    #匹配符合css选择器条件的元素
browser.find_element_by_class_name(name)          #匹配class属性值元素
browser.find_element_by_id(id)                    #匹配id属性值的元素
browser.find_element_by_link_text(text)           #完全匹配提供text的a元素
browser.find_element_by_partial_link_text(text)   #包含提供的text的a元素
browser.find_element_by_name(name)                #匹配name属性值的元素
browser.find_element_by_tag_name(name)            #匹配标签name的元素(大小写无关,a匹配'a'和'A',div则匹配所有div元素)
## xpath 相关的方法
browser.find_element(s)_by_xpath()                      #匹配符合xpath路径的元素

# 某浏览器页面是否包含某元素，有则返回
def find_tag(browser,seletor):
    try:
        return browser.find_element_by_css_selector(seletor)
    except:
        pass
    
# 调用
browser = webdriver.Chrome(executable_path='chromedriver.exe')
browser.get('https://www.baidu.com')
time.sleep(2)
print(find_tag(browser,'div'))
browser.quit()

element = browser.find_element_by_css_selector('nody')
print(dir(element))
'''
['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', 
'__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', 
'__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', 
'__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', 
'_execute', '_id', '_parent', '_upload', '_w3c', 'clear', 'click', 'find_element', 
'find_element_by_class_name', 'find_element_by_css_selector', 'find_element_by_id', 
'find_element_by_link_text', 'find_element_by_name', 'find_element_by_partial_link_text', 
'find_element_by_tag_name', 'find_element_by_xpath', 'find_elements', 
'find_elements_by_class_name', 'find_elements_by_css_selector', 'find_elements_by_id', 
'find_elements_by_link_text', 'find_elements_by_name', 'find_elements_by_partial_link_text', 
'find_elements_by_tag_name', 'find_elements_by_xpath', 'get_attribute', 'get_property', 
'id', 'is_displayed', 'is_enabled', 'is_selected', 'location', 
'location_once_scrolled_into_view', 'parent', 'rect', 'screenshot', 'screenshot_as_base64', 
'screenshot_as_png', 'send_keys', 'size', 'submit', 'tag_name', 'text', 
'value_of_css_property']
'''

# 在元素中查找其子元素的方法：find开头的方法
​
get_attribute #获取元素的特性,attribute是HTML标签上的特性，它的值只能够是字符串
get_property #获取元素的属性,property是DOM中的属性，是JavaScript里的对象
value_of_css_property #属性值
id #元素id,但是返回值并不是我们以为的id
parent #返回的是元素对应的WebDriver对象
tag_name #元素的tag值
text #text属性
is_displayed # 是否可见
is_enabled #是否可用
is_selected #是否被选中
location #返回元素坐标
size #获取元素大小
​
# 3、行为
clear #清空元素文本，如input的输入框
click #点击动作
send_keys #向元素输入key
submit #提交动作
location_once_scrolled_into_view #滚动到该元素
rect #返回元素的坐标及大小，但是跟location可能会有偏差
#截图相关
screenshot
screenshot_as_base64
screenshot_as_png

    w = webdriver.Chrome(executable_path='chromedriver.exe',options=option)
​
    w.get('https://www.baidu.com/s?ie=UTF-8&wd=selenium') 
    w.implicitly_wait(10) #设置隐式等待
​
    input = w.find_element_by_css_selector('#kw')
    print(input.id) #fcbde355-0086-466a-98fd-435d783e3aa4
    print(type(input.parent)) #<class 'selenium.webdriver.chrome.webdriver.WebDriver'>
    print(input.tag_name)# input
    print(input.text) # 为空，因为没有这个属性
    print(input.get_attribute('innerHTML')) # 为空，因为input类型的标签内部没有html了
    print(input.get_property ('outerHTML')) #<input id="kw" name="wd" class="s_ipt" value="selenium" maxlength="255" autocomplete="off">
    print(input.is_displayed) #<bound method WebElement.is_displayed of <selenium.webdriver.remote.webelement.WebElement (session="234b2dfc560e24832424c87eb2680093", element="e9bd7414-a358-462e-9296-c26cccc6766c")>>
    print(input.is_enabled) #<bound method WebElement.is_enabled of <selenium.webdriver.remote.webelement.WebElement (session="234b2dfc560e24832424c87eb2680093", element="e9bd7414-a358-462e-9296-c26cccc6766c")>>
    print(input.is_selected) #<bound method WebElement.is_selected of <selenium.webdriver.remote.webelement.WebElement (session="234b2dfc560e24832424c87eb2680093", element="e9bd7414-a358-462e-9296-c26cccc6766c")>>

from selenium.webdriver.common.keys import Keys
dir(Keys)
['ADD', 'ALT', 'ARROW_DOWN', 'ARROW_LEFT', 'ARROW_RIGHT', 'ARROW_UP', 'BACKSPACE', 
 'BACK_SPACE', 'CANCEL', 'CLEAR', 'COMMAND', 'CONTROL', 'DECIMAL', 'DELETE', 'DIVIDE', 
 'DOWN', 'END', 'ENTER', 'EQUALS', 'ESCAPE', 'F1', 'F10', 'F11', 'F12', 'F2', 'F3', 'F4', 
 'F5', 'F6', 'F7', 'F8', 'F9', 'HELP', 'HOME', 'INSERT', 'LEFT', 'LEFT_ALT', 'LEFT_CONTROL', 
 'LEFT_SHIFT', 'META', 'MULTIPLY', 'NULL', 'NUMPAD0', 'NUMPAD1', 'NUMPAD2', 'NUMPAD3', 
 'NUMPAD4', 'NUMPAD5', 'NUMPAD6', 'NUMPAD7', 'NUMPAD8', 'NUMPAD9', 'PAGE_DOWN', 'PAGE_UP', 
 'PAUSE', 'RETURN', 'RIGHT', 'SEMICOLON', 'SEPARATOR', 'SHIFT', 'SPACE', 'SUBTRACT', 'TAB',
 'UP', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', 
 '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', 
 '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', 
 '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__']

from selenium import webdriver
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
browser = webdriver.Chrome(executable_path='chromedriver.exe',options=option)
print(dir(browser))
'''
['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', '__eq__', 
'__exit__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', 
'__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', 
'__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 
'__weakref__', '_file_detector', '_is_remote', '_mobile', '_switch_to', '_unwrap_value', 
'_web_element_cls', '_wrap_value', 'add_cookie', 'application_cache', 'back', 
'capabilities', 'close', 'command_executor', 'create_options', 'create_web_element', 
'current_url', 'current_window_handle', 'delete_all_cookies', 'delete_cookie', 
'desired_capabilities', 'error_handler', 'execute', 'execute_async_script', 
'execute_cdp_cmd', 'execute_script', 'file_detector', 'file_detector_context', 
'find_element', 'find_element_by_class_name', 'find_element_by_css_selector', 
'find_element_by_id', 'find_element_by_link_text', 'find_element_by_name', 
'find_element_by_partial_link_text', 'find_element_by_tag_name', 'find_element_by_xpath', 
'find_elements', 'find_elements_by_class_name', 'find_elements_by_css_selector', 
'find_elements_by_id', 'find_elements_by_link_text', 'find_elements_by_name', 
'find_elements_by_partial_link_text', 'find_elements_by_tag_name', 'find_elements_by_xpath',
'forward', 'fullscreen_window', 'get', 'get_cookie', 'get_cookies', 'get_log', 
'get_network_conditions', 'get_screenshot_as_base64', 'get_screenshot_as_file', 
'get_screenshot_as_png', 'get_window_position', 'get_window_rect', 'get_window_size', 
'implicitly_wait', 'launch_app', 'log_types', 'maximize_window', 'minimize_window', 
'mobile', 'name', 'orientation', 'page_source', 'quit', 'refresh', 'save_screenshot', 
'service', 'session_id', 'set_network_conditions', 'set_page_load_timeout', 
'set_script_timeout', 'set_window_position', 'set_window_rect', 'set_window_size', 
'start_client', 'start_session', 'stop_client', 'switch_to', 'switch_to_active_element', 
'switch_to_alert', 'switch_to_default_content', 'switch_to_frame', 'switch_to_window', 
'title', 'w3c', 'window_handles']
'''

#链式写法
menu = driver.find_element_by_css_selector(".nav")
hidden_submenu =    driver.find_element_by_css_selector(".nav #submenu1")
​
ActionChains(driver).move_to_element(menu).click(hidden_submenu).perform()
#分步写法
menu = driver.find_element_by_css_selector(".nav")
hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1")
​
actions = ActionChains(driver)
actions.move_to_element(menu)
actions.click(hidden_submenu)
actions.perform()

click(on_element=None) ##单击鼠标左键
​
click_and_hold(on_element=None) ##点击鼠标左键，不松开
​
context_click(on_element=None) ##点击鼠标右键
​
double_click(on_element=None) ##双击鼠标左键
​
drag_and_drop(source, target) ##拖拽到某个元素然后松开
​
drag_and_drop_by_offset(source, xoffset, yoffset) ##拖拽到某个坐标然后松开
​
key_down(value, element=None) ##按下某个键盘上的键
​
key_up(value, element=None) ##松开某个键
​
move_by_offset(xoffset, yoffset) ##鼠标从当前位置移动到某个坐标
​
move_to_element(to_element) ##鼠标移动到某个元素
​
move_to_element_with_offset(to_element, xoffset, yoffset) ##移动到距某个元素（左上角坐标）多少距离的位置
​
perform() ##执行链中的所有动作
​
release(on_element=None) ##在某个元素位置松开鼠标左键
​
send_keys(*keys_to_send) ##发送某个键到当前焦点的元素
​
send_keys_to_element(element, *keys_to_send) ##发送某个键到指定元素

from selenium import webdriver
from selenium.webdriver import ChromeOptions
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
​
if __name__=='__main__':
​
    option = ChromeOptions()
​
    w = webdriver.Chrome(executable_path='chromedriver.exe',options=option)
    w.implicitly_wait(10)
    w.get('https://www.baidu.com') # 【窗口1】
    
    # 方法一 覆盖界面
    w.get('https://www.baidu.com/s?ie=UTF-8&wd=selenium') # 直接覆盖在同一窗口的同一标签页 【窗口1】
    
    # 方法二 js调用window.open()
    js='window.open("");'  # 打开新的空标签页 【窗口2】
    w.execute_script(js)
​
    js='window.open("https://www.baidu.com/s?ie=UTF-8&wd=python");' 
    w.execute_script(js) # 在新的标签页打开python的百度界面 【窗口3】
    
    # 方法三 使用ctrl+t的方式打开新的空标签页
    w.find_element_by_css_selector('body').send_keys(Keys.CONTROL +"t");#【窗口4】
    
    ActionChains(w).key_down(Keys.CONTROL).send_keys("t").key_up(Keys.CONTROL).perform(); #【窗口5】
​
    tabs = w.window_handles;
    
    for t in tabs:
        print(t)
    
    w.quit()     

CDwindow-87A4C884959850140C4D04DDF921D0A2
CDwindow-44BDF2CC599EF700F7969F31DAD9C4DE
CDwindow-3AC76EF19AC69A09BFBCC455C7458E5A

if __name__=='__main__':
    
    option = ChromeOptions()
​
    w = webdriver.Chrome(executable_path='chromedriver.exe',options=option)
    w.implicitly_wait(10)
    w.get('https://www.baidu.com/s?ie=UTF-8&wd=selenium') # 【打开窗口1】
​
    
    js='window.open("");'  # 打开新的空标签页 【打开空标签页--窗口2】
    w.execute_script(js)
    
    # 查看现有的窗口句柄
    print('现有：')
    tabs = w.window_handles;
    for t in tabs:
        print(t)
    print('------------------------------------------')
    
    # 查看持有句柄的窗口
    print('现在是：',w.current_window_handle)   
​
    # 从现在持有句柄的窗口1的输入框复制文字
    actions = ActionChains(w)
    input = w.find_element_by_css_selector('#kw')
    actions.key_down(Keys.CONTROL).send_keys_to_element(input,"a").send_keys_to_element(input,"c").key_up(Keys.CONTROL).perform() # 这个复制经常不成功
    
    # 跳转到新窗口
    #w.switch_to_window(tabs[1]) # 不推荐
    w.switch_to.window(tabs[1])
    w.get('https://www.baidu.com/s?ie=UTF-8&wd=1')
    
    # 查看持有句柄的窗口
    print('现在是：',w.current_window_handle)   
    
    #actions.send_keys_to_element(input,"v")
    input2 = w.find_element_by_css_selector('#kw')
    ActionChains(w).key_down(Keys.CONTROL).send_keys_to_element(input2,"a").send_keys_to_element(input2,"v").key_up(Keys.CONTROL).key_down(Keys.ENTER).key_up(Keys.ENTER).perform() 
    
    # 跳转回窗口1
    w.switch_to.window(tabs[0]) 
    
    # 查看持有句柄的窗口
    print('现在是：',w.current_window_handle)   
​
    w.quit()

w.switch_to_window(tabs[1])
w.switch_to.window(tabs[1])

w.switch_to_frame(tabs[1])
w.switch_to.frame(tabs[1])

switch_to.window(window_handle) # 窗口切换
​
switch_to.frame(element) # 进入内嵌网页iframe
​
switch_to.alert(element) #进入提示页
​
switch_to.default_content # 返回默认窗口

from selenium.webdriver import ChromeOptions
option = ChromeOptions()
print(dir(option))
'''
['KEY', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', 
'__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', 
'__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', 
'__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 
'__weakref__', '_arguments', '_binary_location', '_caps', '_debugger_address', 
'_experimental_options', '_extension_files', '_extensions', 'add_argument', 
'add_encoded_extension', 'add_experimental_option', 'add_extension', 'arguments', 
'binary_location', 'capabilities', 'debugger_address', 'experimental_options', 'extensions',
'headless', 'set_capability', 'set_headless', 'to_capabilities']
'''

# 设置默认编码为 utf-8，也就是中文
​
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

# 设置默认编码为utf-8，防止中文乱码
​
from selenium import webdriver
​
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
​
driver = webdriver.Chrome(chrome_options = options)

# 通过设置user-agent来模拟移动设备
# 比如模拟android QQ浏览器
# 通过设置user-agent，用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')
​
# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

# 禁止图片的加载
from selenium import webdriver
​
chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
​
# 启动浏览器，并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth)   # 根据桌面分辨率来定，主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)

from selenium import webdriver
# 静态IP：102.23.1.105：2005
# 阿布云动态IP：http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
PROXY = "proxy_host:proxy:port"
options = webdriver.ChromeOptions()
desired_capabilities = options.to_capabilities()
desired_capabilities['proxy'] = {
    "httpProxy": PROXY,
    "ftpProxy": PROXY,
    "sslProxy": PROXY,
    "noProxy": None,
    "proxyType": "MANUAL",
    "class": "org.openqa.selenium.Proxy",
    "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

# 添加xpath helper应用
​
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
​
# 设置好应用扩展
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)
​
# 启动浏览器，并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)

from selenium import webdriver
 
options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://182.84.144.122:3256")
driver_path = r"chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options)
 
driver.get('http://httpbin.org/ip') #可显示ip
driver.get('https://www.baidu.com') #测试是否可用

about:version - 显示当前版本
about:memory - 显示本机浏览器内存使用状况
about:plugins - 显示已安装插件
about:histograms - 显示历史记录
about:dns - 显示DNS状态
about:cache - 显示缓存页面
about:gpu -是否有硬件加速
about:flags -开启一些插件 //使用后弹出这么些东西：“请小心，这些实验可能有风险”，不知会不会搞乱俺的配置啊！
chrome://extensions/ - 查看已经安装的扩展

–user-data-dir=”[PATH]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。
–disk-cache-dir=”[PATH]“ 指定缓存Cache路径
–disk-cache-size= 指定Cache大小，单位Byte
–first run 重置到初始状态，第一次运行
–incognito 隐身模式启动
–disable-javascript 禁用Javascript
–omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。
–user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果
–disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果
–disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个
–disable-java 禁用java
–start-maximized 启动就最大化
–no-sandbox 取消沙盒模式
–single-process 单进程运行
–process-per-tab 每个标签使用单独进程
–process-per-site 每个站点使用单独进程
–in-process-plugins 插件不启用单独进程
–disable-popup-blocking 禁用弹出拦截
–disable-plugins 禁用插件
–disable-images 禁用图像
–incognito 启动进入隐身模式
–enable-udd-profiles 启用账户切换菜单
–proxy-pac-url 使用pac代理 [via 1/2]
–lang=zh-CN 设置语言为简体中文
–disk-cache-dir 自定义缓存目录
–disk-cache-size 自定义缓存最大值（单位byte）
–media-cache-size 自定义多媒体缓存最大值（单位byte）
–bookmark-menu 在工具 栏增加一个书签按钮
–enable-sync 启用书签同步
–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行

–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行

from selenium import webdriver
from selenium.webdriver import ChromeOptions
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
import time
import random
import re
​
# 某浏览器页面是否包含某元素，有则返回,超时返回None
# seletor为选择器，如'#kw'
def find_element(browser,seletor,timeout=10):
    try:
        WebDriverWait(browser, timeout).until(lambda the_driver: the_driver.find_element_by_css_selector(seletor), '')
        return browser.find_element_by_css_selector(seletor)
    except:
        print(seletor,'查找超时')
        return None