时间戳

首页 > 解决方案 > 如何遍历 CSV 文件 URL 调用 PYTHON

python - 如何遍历 CSV 文件 URL 调用 PYTHON

问题描述

我有一个包含 100 万多个 URL 的文件 (urls.csv)。每行都是一个新的网址，例如：

  1. https://example.com/1
  2. https://example.com/2 等等....

我想获取每个url末尾的json文件，并将其保存为每个url的单独json文件，文件名按顺序为1、2、3、n ...

这是我到目前为止所拥有的：

import requests
import csv

url = []

with open('urls.csv') as csvfile:    
    csvReader = csv.reader(csvfile)    
    for row in csvReader:        
        url.append(row[0])

headers = {'Accept': 'application/json'}

response = requests.get(url, headers=headers)

with open('outputfile.json', 'wb') as outf:
    outf.write(response.content)

我应该如何解决这个问题？

标签： pythonjsoncsvpython-requestsget

解决方案

试试这个：

import requests
import csv

urls = []

with open('urls.csv') as csvfile:    
    csvReader = csv.reader(csvfile)    
    for row in csvReader:        
        urls.append(row[0])

headers = {'Accept': 'application/json'}

for url in urls:
    response = requests.get(url, headers=headers)
    filename = url.split('/')[-1]
    with open(f'{filename}.json', 'wb') as outf:
        outf.write(response.content)

因此，假设您的第三个 url 是https://example.com/3，代码将保存一个以3.json相应响应命名的文件。

推荐阅读