BeautifulSoup
from bs4 import BeautifulSoup
soup=BeautifulSoup(url,'lxml')#lxml解析库速度快，文档容错能力强
soup=BeautifulSoup(url,'xml')
soup=BeautifulSoup(url,'html5lib')
soup.prettify()#自动补全
标签选择器
from bs4 import BeautifulSoup
import lxml
import requests
url='https://movie.douban.com/'
content=requests.get(url).text #以文本形式打印出来
soup=BeautifulSoup(content,'lxml') #利用beautifulsoup解析
print(soup)
print(soup.head)
print(soup.title)
print(soup.p)
print(soup.div)
获取标签属性
soup.p['class']
获取标签内容
soup.title.text
标准选择器
soup.find_all(self, name=None, attrs={}, recursive=True, text=None,limit=None, **kwargs)#以列表返回多个元素
name#Tag标签
attrs#通过字典匹配内容
soup.find(self, name=None, attrs={}, recursive=True, text=None,limit=None, **kwargs)#返回单个元素
CSS选择器
soup.select(self, selector, _candidate_generator=None, limit=None)
selector
选择class 用.表示
选择id 用#表示
获取属性
soup.select('id')
soup.select('class')
获取内容
soup.select('id').get_text()
PyQuery库
pip3 install pyquery#安装PyQuery
from pyquery import PyQuery as pq
dpc=pq('html')
dpc=pq(url='http://www.baidu.com/')
dpc=pq(filename=r'C:/123.txt')
CSS选择器
class ---> .
id ---> #
dpc2=dpc('#head .head_wrapper #lg')
dpc3=dpc2.find("img")
print(dpc3)
遍历元素
dpc4=dpc('#head .head_wrapper #lg').items()#item（）方法
for it in dpc4 :
print(dpc4)
获取属性
dpc5=dpc2.find("img").attr('href')
获取标签的文本
dpc6=dpc2.find("img").text(0
dpc6=dpc2.find("img").html(0
DOM操作
dpc2.addClass()#class标签
dpc2.removeClass()
dpc2.attr()#更改属性
dpc2css()
dpc2.find("img").remove()
伪类选择器
dpc2.find("img").('li:frist-child')
selenium库
#自动化测试工具，驱动浏览器，解决JS渲染
pip3 install selenum
from selenium import webdriver
browser=webdriver.Chrome()#声明浏览器对象,需要提供ChromeDriver驱动
browser=webdriver.Firefox()
browser=webdriver.Edge()
browser=webdriver.Safari()
访问页面
browser.get('http://www.baidu.com')
browser.close()#关闭浏览器
查找单个元素
input_f.browser.find_element_by_id('kw')#'kw'关键字需要在网页源代码寻找
browser.fin_element_by_css_selector()
browser.fin_element_by_tag_name()
browser.fin_element_by_xpath('q')
browser.fin_element_by_class_name()
browser.fin_element_by_partial_link_text()
查找多个元素
input_f=browser.find_elements_by_id('kw')#以列表返回结果
元素交互操作
input_f.send_keys('关键字')#在查询框中输入关键字
input_f.clear()
input_f.submit()
input_f.click()
交互动作 将动作附加到动作链中串行执行
from selenium.webdriver improt ActionChains
actions=ActionChains(browser)
actions.drag_and_drop()
actions.clic_and_hold()
执行JavaScript
browser.execute_script('JS代码')#重点掌握的方法
获取元素信息
获取属性
browser.find_element_by_id('kw').get_atrribute('class')
获取文本值
browser.find_element_by_id('kw').text #elemnt单个返回值
获取ID、位置、标签名、大小
browser.find_element_by_id('kw').id
browser.find_element_by_id('kw').location
browser.find_element_by_id('kw').tag_name
browser.find_element_by_id('kw').size
Frame
browser.switch_to.parent_frame()
等待
隐式等待
browser.implicitly_wait(10)#元素未加载完成时会等待一定时间来加载
显示加载
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import exected_conditions
wait=WebDriverWait(browser,10)#声明等待对象
wait.until(exected_conditions.title_is('chenwei'))#Exected_Conditions等待条件
浏览器前进后退
browser.back()
time.sleep(1)
browser.foward()
Cookies
browser.get_cookies()
browser.add_cookie(name)
browser.delete_all_cookies()
选项卡管理
browser.execute_script(window.open)#'JS脚本'
browser.get('https://taobao.com')
print(browser.window_handles)#显示目前选项卡的name
browser.switch_to_window(browser.window_handles[1])#切换至新选项卡
time.sleep(2)
browser.get('http://www.baidu.com')
异常处理
from selenium.common.exception import TimeoutException
try
browser.get('https://taobao.com')
except TimeoutException
print(连接超时)
finally
browser.close()