python - 找不到标签或无法拉取内容时如何重新加载页面？

Question

我想修改下面的代码，以便在“xy”或“href”类不可用时刷新相应的 URL。该代码是网络爬虫的一部分，有时它面临验证码或错误。目前，我的代码只是跳转到下一页，但如果第一次尝试无法显示，我需要先刷新页面。

                url_pull = url.find('a',class_ = 'xy')
                partial_url = url_pull.get('href')
                pageURL = 'http://xxx'+partial_url
                Url_list.append(pageURL)

标签： pythonseleniumweb-scrapingbeautifulsoupweb-crawler

Answer 1

你可以使用一个While True条件，break如果你找到了一个结果。

所以，像：

while True:
    url_pull = url.find('a', class_='xy')
    partial_url = url_pull.get('href')
    if url_pull or partial_url is not None:
        break
    sleep(5)