python - Selenium Python 代理文件
问题描述
我正在尝试使用代理制作一个 bing scraper selenium,但我不确定如何加载我的代理文件并随机获取每个代理并尝试是否可以使用第一个,如果它不起作用,请从列表中获取另一个。
所以我写了一个小程序:
import platform, random
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium import webdriver
# we load proxy list
proxy = set()
proxilist = input('Give me proxy file : ')
with open(proxilist, "r") as file:
file_lines = file.readlines()
for line in file_lines:
proxy.add(line.strip())
proxy = Proxy({
'proxyType': ProxyType.MANUAL,
'httpProxy': random.choice(list(proxy)),
'ftpProxy': random.choice(list(proxy)),
'sslProxy': random.choice(list(proxy)),
'noProxy': '' # set this value as desired
})
# now let's try proxy for check if Internet is okay
http = urllib3.PoolManager()
def wait_for_internet_connection():
while True:
try:
driver = webdriver.Firefox(proxy=proxy)
response = http.request('GET', 'http://ku.edu.np')
return
except:
print('No internet connection.\nTrying after 5 seconds.\n')
sleep(5)
对于代理文件,您可以从这里使用:https : //api.proxyscrape.com/?request=displayproxies&proxytype=http&timeout=7000&country=DE&anonymity=elite&ssl=no 并将所有内容保存在像 proxy.txt 这样的测试文件中
感谢您的帮助,我是硒模块的初学者,我并没有真正找到带有硒的代理列表的文档。
解决方案
推荐阅读
- docker - Hyperledger Fabric byfn 实例化失败 - 链码存在
- java - hamcrest:使用 hamcrest 在逻辑上比较两个集合 ob 自定义类
- html - 如何将悬停效果添加到 textarea 占位符?
- sql - SQL - 使用当前和前几年的值创建视图
- java - 无法使用 gradle 和 jdk 11 构建 jar
- json - JQ:用另一个文件中的相应值替换键
- kubernetes - 在 kubernetes 中,POD 将具有 IP 地址,Node 将具有 IP 地址
- reactjs - Apollo 客户端,React,启用缓存时的事件
- z3 - Z3的模型似乎违反了约束
- offset - OFFSET 行中最后一个非空白单元格