google-chrome - 从多个 url 保存 html 代码

Question

我的网页“aaaa”提供了一个 URL 列表“aaaa1”、aaaa2、...、aaaa100。我需要打开每个链接并将 html 代码保存在一个文件夹中。有没有办法快速打开所有源代码（比打开每个链接并获取源代码，然后复制它更好）？

更广泛地说，问题是我无法使用 python 请求打开 aaaa。我有漂亮的汤代码来处理 html 并从 aaaa1、aaaa2、...、aaaa100 源代码中提取我需要的信息。我只是无法以其他方式打开它们，而不是一个一个地手动打开它们。我需要继续前进，现在不介意手动进行，但我只想知道是否有更好的方法来完成手动部分。

在此先感谢您的帮助

标签： google-chrome

Answer 1

我认为除了点击每个链接并获取页面来源之外别无他法。你可以做这样的事情。

#assuming that your file has each link per line
with open('file_conataining_urls') as file:
   links = file.read().split('\n')
   for link_no, link in enumerate(links):
       f = open(link_no+'.html', 'w')
       f.write(str(requests.get(link).content))
       f.close()