python - 如何将每个 HTML 页面的输出写入 Python 中的多个文件?
问题描述
我创建了一个代码,该代码将生成每个 HTML 页面作为输出,通过 for 循环的迭代保存在不同的文件中。
import requests
import urllib.request
def crawlpages():
for i in range(1451720, 1451730):
link = "https://www.mmo-champion.com/members/" + str(i)
content = urllib.request.urlopen(link)
mydata = content.read()
with open('Newfile.html%s' %i,'wb') as file:
file.write(mydata)
crawlpages()
解决方案
只需使用requests
.
import requests
def crawlpages():
for i in range(1451720, 1451730):
link = "https://www.mmo-champion.com/members/" + str(i)
response = requests.get(link)
mydata = response.content
with open('Newfile.html%s' %i,'wb') as file:
file.write(mydata)
crawlpages()
推荐阅读
- bash - 将文本复制到相应文件夹的相应文件中
- javascript - 如何从 webpack 中的资产 url 中删除后缀斜杠“/” | 盖茨比
- r - 合并两个单元格不匹配的数据框
- xml - 如何使用 spark scala 将包含超过 1 个行标记的复杂 xml 文件加载到数据框中并将其保存为表(注意通用解决方案)
- c# - 为什么 CertificateRequest.Create 有时会在序列号中添加前导零字节?
- scala - 如何在spark scala中截断数据框中多行和多列的值
- python - 如何为部署在 Heroku 上的电报机器人编写定期重复的函数
- r - coef() 函数和调试消息
- heroku - 表格中的虚拟行
- r - 不知道为什么 eigen() 给出了一个错误符号的向量,而加载矩阵只是向量