scrapy - scrapy-splash 如何过滤重复项？

Question

使用 scrapy-splash 库渲染 JS 时。我们将其自定义 DUPEFILTER_CLASS 添加到 settings.py 文件中。

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

似乎这用于过滤请求，以便不发送太多请求并加快处理速度。但是，使用scrapy-splash过滤请求的基础是什么？是网址吗？

标签： scrapyscrapy-splash

Answer 1

使用splash_request_fingerprint函数检测重复。通过查看代码和issue 900 (still open) ，会考虑 url，但是如果您想将它与具有相同 url 的其他请求区分开来，您可以选择将元参数传递给请求。但是我们必须查看scrapy.utils.request:request_fingerprint因为这也被调用了。

什么是指纹的一部分：

• 请求的 url
• 请求方法（source和 keep_fragments 设置为 True）
• 请求的正文

什么不是指纹的一部分：

• http 请求标头（因为 include_headers默认为None ）
• 默认情况下， url 片段不用于计算指纹，除非 request.meta.splash.args包含密钥url

关注问题 900以保持最新是很有用的。在后面的评论中，一些使用/自定义指纹的方法和示例开始出现。