时间戳

首页 > 解决方案 > 抓取网页数据

javascript - 抓取网页数据

问题描述

我想从一个网站上抓取数据：https : //en.macromicro.me/charts/773/baltic-dry-index ，它包含 4 个数据集。

我发现该网站使用 javascript 向https://en.macromicro.me/charts/data/773发送请求以 获取数据，但由于某种原因，我无法使用 Postman 或我的脚本。我不断得到结果：{'success': 0, 'data': [], 'msg': 'error #240'}

我在这里错过了什么吗？这是我的代码：

import requests
import json
import datetime
import pandas as pd

url = 'https://en.macromicro.me/charts/data/773'
header = {
'sec-ch-ua':'"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
'Accept':'application/json, text/javascript, */*; q=0.01',
'Docref': 'https://www.google.com/',
'X-Requested-With':'XMLHttpRequest',
'sec-ch-ua-mobile':'?0',
'Authorization':'Bearer ee1c7b87258a902bde1129df2b64abac',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
r = requests.get(url,headers = header)
response = json.loads(r.text)
response

数据集

标签： javascriptpythonweb-scrapingrequest

解决方案

缺少Cookie标题。刷新页面以获取 cookie。

推荐阅读