python - 从用python爬行的网站编写csv
问题描述
我刚刚开始学习编程,现在我遇到了一个问题,我编写了一个可以访问多个网页的爬虫代码,我遇到的问题是我需要将数据保存为两列中的 CSV 文件,source(webpage),target(link)
以便 Excel 可以读取但有像 8k 网页,我想用 75k 链接设置它们
更具体地说,这是我正在寻找的输出:所以这是我的代码
url = "https://ontariotechu.ca"
html = urllib.request.urlopen(url, context=ctx).read()
soup = BeautifulSoup(html, 'html.parser')
tags = soup('a')
for tag in tags:
w.append(tag.get('href'))
这就是我想要存储数据的方式
解决方案
推荐阅读
- javascript - 我的分页跳来跳去,我不知道如何解决它
- javascript - 使用数据库中的选项添加新的选择表单
- python - Flask,在视图之间传递用户输入的数据
- date - 将 YYYYMMDD8 转换为 DATE9 格式?
- c# - c#字典使用文本框从datagridview中选择索引
- prestashop - 如何使用 PrestaSharp 更新 PrestaShop 中的 product.quantity?
- c - 使用 printf 打印一个字符会导致什么都不显示
- r - 使用 facetwrap 的多个 Kmeans 聚类和绘图
- mysql - Mysql根据不同的选择获得一行
- python - 有没有办法在 Cloud Function 中获取 json 文件内容?