python - 从 json 源中抓取数据

Question

所以，我正在尝试从网上商店的 python 网站获取一些信息。

我试过这个：

my_url = requests.get(MY_URL)

data = my_url.json()

name = data['MainContent'][0]['contents'][0]['productList']['products'][0]['productModel']["displayName"]
price = data['MainContent'][0]['contents'][0]['productList']['products'][0]['priceInfo']['priceItemSale']["gross"]
url= data['MainContent'][0]['contents'][0]['productList']['products'][0]['productModel']["url"]
        
filename = "test.csv"
csv_writer = csv.writer(open(filename, 'w'))
headers = "Name, Price, Link\n"
f.write(headers)
f.close()

在这个网上商店有很多具有这些属性“productModel”的产品，但我怎样才能得到这些并写入 csv？我想在不同的单元格中抓取名称、价格和 url 链接此页面。

标签： pythonjsonweb-scrapingrequest

Answer 1

就像是：

for mc in data['MainContent']:
    for co in mc:
        for prod in co['productList']['products']:
            name = prod['productModel']['displayName']