python - 如何使用 SCRAPY 向 API 发出 POST 请求

Question

我想知道您用来POST向 using 发出请求的API方法SCRAPY。

如果您认为这个问题不在 Stackoverflow 的标准中，请多多包涵。

感谢您的帮助。

我正在抓取一个使用 API 显示数据的网站，但不幸的是，我无法抓取它。

网站：https ://www.sla.org.sg/hive/sla/membershipDirectory

标签： pythonweb-scrapingscrapyhttp-post

Answer 1

您需要 yield a FormRequest，请求的主体应该进入formdata参数。在这里阅读更多。 像这样的东西：

api_url =  'https://www.sla.org.sg/hive/sla/membershipDirectory/search'
sample_form = {
   'field1': 'value1',
   'field2': 'value2',
}
yield FormRequest(url=api_url, formdata=sample_form, callback=your_parsing_method)