时间戳

首页 > 解决方案 > 您可以在 Try/Except 中重试/循环吗？

python-3.x - 您可以在 Try/Except 中重试/循环吗？

问题描述

我试图了解是否可以在 Try/Except 调用中设置循环，或者我是否需要重组以使用函数。长话短说，在花了几个小时学习 Python 和 BeautifulSoup 之后，我设法将一些代码拼凑在一起，以抓取 URL 列表，将数据提取到 CSV（现在将其更新到 MySQL 数据库）。代码现在按计划运行，除了我偶尔会遇到 10054，要么是因为我的 VPN 打嗝，要么可能是源主机服务器偶尔弹跳我（我的循环有 30 秒的延迟，但有时它仍然会踢我）。

我对 Try/Except 结构有了大致的了解，但我不太确定我将如何（或者如果可以的话）在其中循环再试一次。我获取 URL、清理它并解析我需要的表的基本代码如下所示：

for url in contents:
    print('Processing record', (num+1), 'of', len(contents))
    if url:
        print('Retrieving data from ', url[0])
        html = requests.get(url[0]).text
        soup = BeautifulSoup(html, 'html.parser')
        for span in soup('span'):
            span.decompose()
       trs = soup.select('div#collapseOne tr')
        if trs:
            print('Processing')
            for t in trs:
                for header, value in zip(t.select('td')[0], t.select('td:nth-child(2)')):
                    if num == 0:
                        headers.append(' '.join(header.split()))    
                    values.append(re.sub(' +', ' ', value.get_text(' ', strip=True)))

之后只是将数据处理为 CSV 并运行更新 sql 语句。

我想做的是如果 HTML 请求调用失败是等待 30 秒，再次尝试请求，然后处理，或者如果重试失败 X 次，继续并退出脚本（假设那时我有完全连接失败）。

是否可以在线执行类似的操作，或者我需要将请求语句变成一个函数并设置一个循环来调用它？不得不承认我还不熟悉 Python 如何处理函数返回。

标签： python-3.xweb-scrapingbeautifulsoup

解决方案

您可以为重试添加一个内部循环，并将您的 try/except 块放入其中。这是它的外观草图。您可以将所有这些放入一个函数中，并将该函数调用放在它自己的 try/except 块中，以捕获导致循环退出的其他错误。

查看请求异常层次结构，Timeout 涵盖了多个可恢复的异常，是您可能想要捕获的一切的良好开端。SSLError 之类的其他事情不会因为您重试而变得更好，因此请跳过它们。您可以浏览列表以查看对您来说合理的内容。

import itertools

# requests exceptions at 
# https://requests.readthedocs.io/en/master/_modules/requests/exceptions/
    
for url in contents:
    print('Processing record', (num+1), 'of', len(contents))
    if url:
        print('Retrieving data from ', url[0])
        retry_count = itertools.count()
        # loop for retries
        while True:
            try:
                # get with timeout and convert http errors to exceptions
                resp = requests.get(url[0], timeout=10)
                resp.raise_for_status()
            # the things you want to recover from
            except requests.Timeout as e:
                if next(retry_count) <= 5:
                    print("timeout, wait and retry:", e)
                    time.sleep(30)
                    continue
                else:
                    print("timeout, exiting")
                    raise # reraise exception to exit
            except Exception as e:
                print("unrecoverable error", e)
                raise
            break

        html = resp.text
        etc…

推荐阅读