首页 > 解决方案 > scrapy splash - SplashFormRequest 参数错误

问题描述

我是splash的新手,我只是将它实现为scrapy,并尝试用它来替换一个经典的scrapy请求(因为我想抓取的页面使用了一些js)。到目前为止,我有:

        for a in res_json['data']:
            req = SplashFormRequest(
            'my_url_to_request',
            self.fill_details, #my callback
            args={'http_method': 'POST', 'body': "valeur="+str(a['id'])},
            )
            yield req

问题是我一直在寻找一种方法来设置我的标题和我的 cookie,但我找不到方法(即使如此文档谈论它我不明白最好的方法?

标签: webweb-scrapingscrapyscrapy-splashsplash-js-render

解决方案


推荐阅读