python - 从 Scrapy 中的 API 获取数据

Question

我正在从事一个分为两部分的项目：

• 检索特定页面
• 提取此页面的 ID 后，
• 向 API 发送请求以获取此页面上的其他信息

对于第二点，按照 Scrapy 的异步理念，这样的代码应该放在哪里？（我在蜘蛛或管道之间犹豫不决）。我们是否必须使用不同的库，如 asyncio 和 aiohttp 才能异步实现这个目标？（我喜欢 aiohttp 所以使用它不是问题）

谢谢

标签： pythonscrapy

Answer 1

由于您这样做是为了获取有关项目的其他信息，因此我只需从解析方法产生一个请求，并在meta属性中传递已经抓取的信息。

你可以在https://doc.scrapy.org/en/latest/topics/request-response.html#topics-request-response-ref-request-callback-arguments看到一个例子

这也可以在管道中完成（使用 scrapy 的引擎 API 或不同的库，例如treq）。
但是，我确实认为在这种情况下，从蜘蛛那里以“正常方式”进行操作更有意义。