时间戳

首页 > 解决方案 > 代理请求在 beautifulSoup 项目中使用我的家庭 IP

python - 代理请求在 beautifulSoup 项目中使用我的家庭 IP

问题描述

我有一个没有问题的脚本，除了代理不起作用。我希望它每次启动请求时都使用 proxies.txt 中的新代理。

proxy_list = []

for line in open('proxies.txt', 'r'):
    line = line.replace('\n', '')
    proxy_list.append(line)

def get_proxy():
    proxy = random.choice(proxy_list)
    proxies = {
        "http": f'{str(proxy)}',
        "https": f'{str(proxy)}'
    }
    return proxies

# Opening URL file 
def loop():
    with open('urls.json','r') as file:
        data = json.load(file)
        url_list = data['urls']
    pos = 0
    while True:

        # Sleep for 3 seconds between each request 
        time.sleep(20)


        if pos >= len(url_list):
            pos = 0
        url = url_list[pos]
        pos += 1

        proxies = get_proxy()

        result = requests.get(url.strip() ,headers=header,timeout=6)

它似乎只使用我的家庭 IP 而不是代理。

标签： pythonbeautifulsoupproxy

解决方案

r = requests.get('example.com',headers=headers,proxies={'https': proxy_url})

我的建议是在您打开 url 时添加代理引用。

推荐阅读