首页 > 解决方案 > 在scrapy shell中获取403

问题描述

我正在尝试从bitclout中提取数据。当我尝试使用 RESTClient 发送请求时,我200在 scrapy shell 中得到响应,我得到403. 我想我错过了一些东西,但无法弄清楚。

header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:87.0) Gecko/20100101 Firefox/87.0',
 'Content-Type': 'application/json',
 'Accept': 'application/json, text/plain, */*',
 'Accept-Encoding': 'Accept-Encoding',
 'Host': 'api.bitclout.com',
 'Origin': 'https://explorer.bitclout.com',
 'Accept-Language': 'en-US,en;q=0.5',
 'Connection': 'keep-alive',
}

body = {'Height': 0, 'FullBlock': True}

url = 'https://api.bitclout.com/api/v1/block'

In [62]: fetch(scrapy.Request(url,method="POST",headers = header,body=json.dumps(body)))                                                              
2021-04-16 14:57:28 [scrapy.core.engine] DEBUG: Crawled (403) <POST https://api.bitclout.com/api/v1/block> (referer: None)

标签: python-3.xhttpscrapycloudflarehttp-status-code-403

解决方案


推荐阅读