时间戳

首页 > 解决方案 > 在 python/selenium 中检查代理

python - 在 python/selenium 中检查代理

问题描述

我正在尝试使用 selenium 和 python 连接到一个站点。然后我决定在整个过程中添加代理并使用它们连接到站点。使用代理代理（python 模块）抓取代理。所以我可以刮掉很多代理。然后我将它保存到一个文本文件中，当我需要连接时，我会从文本文件中随机选择它。然而，这就是问题出现的地方。连接到站点时，代理有时不起作用。目前这是我正在使用的代码：

        import asyncio
    from proxybroker import Broker


    async def save(proxies, filename):
        """Save proxies to a file."""
        with open(filename, 'w') as f:
            while True:
                proxy = await proxies.get()
                if proxy is None:
                    break
                proto = 'https' if 'HTTPS' in proxy.types else 'http'
                row = '%s://%s:%d\n' % (proto, proxy.host, proxy.port)
                f.write(row)


    def main():
        proxies = asyncio.Queue()
        broker = Broker(proxies)
        tasks = asyncio.gather(broker.find(types=['HTTP', 'HTTPS'], limit=5),
                            save(proxies, filename='proxies.txt'))
        loop = asyncio.get_event_loop()
        loop.run_until_complete(tasks)


    if __name__ == '__main__':
        main()

    lines = open('proxies.txt').read().splitlines()
    rproxy =random.choice(lines)
    PROXY =  rproxy

此代码是 Proxy Broker 示例页面 ( https://proxybroker.readthedocs.io/en/latest/examples.html )中的示例代码

所以我想要做的是两件事之一：

选项 1：在它们被抓取后立即检查代理，然后将可以工作的代理保存在文本文件中并稍后调用它们

选项 2：在代理连接到站点之前检查代理。所以它检查代理是否工作，然后如果它工作，它会使用它。如果没有，它会尝试另一个。

我真的不知道如何做到这一点。我的朋友建议的一件事是使用请求并查看代理是否有效，但我遇到了问题，因为我无法格式化代理列表以自动与请求一起使用。

非常感谢任何帮助/提示。提前致谢！！！！

（编辑）我已经尝试过这样的帖子：

python中的代理检查

https://github.com/ApsOps/proxy-checker

https://www.calazan.com/how-to-use-proxies-with-an-http-session-using-the-python-requests-package/

https://codereview.stackexchange.com/questions/169246/python-proxy-checker-scanner

他们都没有为我工作:(

标签： pythonseleniumproxy

解决方案

好吧，我查看了proxybroker 文档，发现最好的解决方案是检查内置属性proxy.is_working：

results = []
for proto in ngtrs:
    if proto == 'CONNECT:25':
        result = await self._check_conn_25(proxy, proto)
    else:
        result = await self._check(proxy, proto)
     results.append(result)

proxy.is_working = True if any(results) else False

您可以像这样在代码中实现它：

import asyncio
from proxybroker import Broker


def get_random_proxy():
    """
    Get random proxy from 'proxies.txt'.
    """
    lines = open('proxies.txt').read().splitlines()
    rproxy =random.choice(lines)
    PROXY =  rproxy


async def save(proxies, filename):
    """
    Save proxies to a file.
    """
    with open(filename, 'w') as file:
        while True:
            proxy = await proxies.get()
            if proxy is None:
                break
            # Check accurately if the proxy is working.
            if proxy.is_working:
                protocol = 'https' if 'HTTPS' in proxy.types else 'http'
                line = '{protocol}://{proxy.host}:{proxy.port}\n'
                file.write(line)


def main():
    proxies = asyncio.Queue()
    broker = Broker(proxies)
    tasks = asyncio.gather(broker.find(types=['HTTP', 'HTTPS'], limit=5),
                           save(proxies, filename='proxies.txt'))
    loop = asyncio.get_event_loop()
    loop.run_until_complete(tasks)


if __name__ == '__main__':
    main()

推荐阅读