python - Selenium 中的代理实现

Question

我想用 selenium 在我的 python 项目中实现代理。我从一个网站获得了一个代理列表并将它们存储在一个列表中。现在如何使用 for 循环遍历每个代理并访问网站。

import requests
from lxml.html import fromstring
from itertools import cycle
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

def get_proxies():
    url = 'https://free-proxy-list.net/'
    response = requests.get(url)
    parser = fromstring(response.text)
    proxies = set()
    for i in parser.xpath('//tbody/tr')[:10]:
        if i.xpath('.//td[7][contains(text(),"yes")]'):
            proxy = ":".join([i.xpath('.//td[1]/text()')[0], i.xpath('.//td[2]/text()')[0]])
            proxies.add(proxy)
    return proxies

proxies = get_proxies()
proxy_pool = cycle(proxies)

标签： pythonseleniumproxy