时间戳

首页 > 解决方案 > urlopen中的url.request奇怪的行为python3

python - urlopen中的url.request奇怪的行为python3

问题描述

我正在尝试从 url 列表中查找无法访问的 url。代码如下：

def sanity(url,errors):
    global count
    count+=1
    if count%1000==0:
       print(count)
    try:
       if 'media' in url[:10]:
           url = "http://edoola.s3.amazonaws.com" + url
       headers={'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36",
    }
       req=urllib.request.Request(url,headers=headers)
       ret = urllib.request.urlopen(req)
       return 1
    except:
       print(e, url)
       errors.append(url)
       return 0

limit=1000
count=0
errors = []
with open('file.csv','r',encoding="utf-8") as file:
      text = file.read()
      text = str(text)
      urls = re.findall(r'<img.*?src=""(.*?)""[\s>]', text, flags=re.DOTALL)

arr = list(range(0,len(urls)+1,limit))
start=0
for i in arr:
    threads = [threading.Thread(target=sanity, args=(url, errors,)) for url in urls[start:i]]
    [thread.start() for thread in threads]
    [thread.join() for thread in threads]
    if i==0:
       start=0
    else:
       start=i+1

print(errors)
with open('errors_urls.txt','w') as file:
     file.write('\n'.join(errors))

该代码正确运行 1000 次，但在接下来的一千个打印 URL 中可以从我的 chrome 浏览器访问。我已经研究过这个，还有其他的。我已经在 ipython 终端中尝试了这些方法，选择了一个特定的 url，并且效果很好。但是当我对上面的代码采用相同的方法时。我得到了可访问的网址。我该如何解决这个问题？

网址数量约为 15000 个。因此，在上面的代码中，我以 1000 个块运行，因此产生了 1000 个线程。

任何帮助表示赞赏！

标签： pythonpython-3.xurlliburlopen

解决方案

推荐阅读