首页 > 解决方案 > Selenium Python 代理文件

问题描述

我正在尝试使用代理制作一个 bing scraper selenium,但我不确定如何加载我的代理文件并随机获取每个代理并尝试是否可以使用第一个,如果它不起作用,请从列表中获取另一个。

所以我写了一个小程序:

import platform, random
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium import webdriver
# we load proxy list
proxy = set()
proxilist = input('Give me proxy file : ')
with open(proxilist, "r") as file:
    file_lines = file.readlines()
    for line in file_lines:
        proxy.add(line.strip()) 

proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': random.choice(list(proxy)),
    'ftpProxy': random.choice(list(proxy)),
    'sslProxy': random.choice(list(proxy)),
    'noProxy': '' # set this value as desired
    })

# now let's try proxy for check if Internet is okay
http = urllib3.PoolManager()
def wait_for_internet_connection():
    while True:
        try:
            driver = webdriver.Firefox(proxy=proxy)
            response = http.request('GET', 'http://ku.edu.np')
            return
        except:
            print('No internet connection.\nTrying after 5 seconds.\n')
            sleep(5)

对于代理文件,您可以从这里使用:https : //api.proxyscrape.com/?request=displayproxies&proxytype=http&timeout=7000&country=DE&anonymity=elite&ssl=no 并将所有内容保存在像 proxy.txt 这样的测试文件中

感谢您的帮助,我是硒模块的初学者,我并没有真正找到带有硒的代理列表的文档。

标签: pythonseleniumproxy

解决方案


推荐阅读