python - 如何将响应传递给我的解析函数？

Question

我正在使用 cloudcraper 来抓取受 cloudflare 保护的 url，它可以使用：

scraper = cloudscraper.create_scraper()
response = scraper.get(url).text

如何将 scrapy 中的这个响应传递给我的解析函数？我可以以某种方式把它放在一个scrapy.Request（）中吗？

标签： pythonweb-scrapingscrapy

Answer 1

您可以使用 meta 将数据从 Request yield 发送到解析函数。元文档。

例子：

#inside some method:
yield Scrapy.Request(
    url='http://example.com'
    meta={
        'key': 'yourdata'
    }
)


#parse method
def parse(self, response):
   data = response.meta.get('key')