首页 > 解决方案 > 错误:方法获取不允许用于 url scrapy

问题描述

我正在使用 scrapy 和以下代码来抓取网站。网站请求方法是 POST。

    def send_request(self):
        payload = self.payload
        request_body = json.dumps(payload)

        yield scrapy.Request('https://api.divar.ir/v8/search/1/real-estate',
                             method='POST',
                             body=request_body,
                             headers=self.headers,
                             dont_filter=True,
                             callback=self.parse(),
                             )

我得到了这个错误:

b'错误:URL /v4/1/real-estate 不允许方法 GET'

我该如何处理?

网站

标签: pythonweb-scraping

解决方案


推荐阅读