首页 > 解决方案 > 如何将 CLOSESPIDER_ITEMCOUNT 与 scrapyd 一起使用?

问题描述

我在 django 框架中使用 scrapy 和 scrapyd。

我想限制我的 url 抓取次数。我在 scrapy doc 上找到了这个 CLOSESPIDER_ITEMCOUNT 选项。用于计数和停止我的蜘蛛,但我无法使用它。有没有人有这方面的知识?或者知道任何(清晰的)示例解释的来源?(是的,我检查了文档。不,关于这个主题的信息不多)。

任何信息,将不胜感激

标签: djangoscrapyscrapyd

解决方案


推荐阅读