django - 如何将 CLOSESPIDER_ITEMCOUNT 与 scrapyd 一起使用?
问题描述
我在 django 框架中使用 scrapy 和 scrapyd。
我想限制我的 url 抓取次数。我在 scrapy doc 上找到了这个 CLOSESPIDER_ITEMCOUNT 选项。用于计数和停止我的蜘蛛,但我无法使用它。有没有人有这方面的知识?或者知道任何(清晰的)示例解释的来源?(是的,我检查了文档。不,关于这个主题的信息不多)。
任何信息,将不胜感激
解决方案
推荐阅读
- symfony - Symfony:Profiler 看到 twig deprecations,但找不到它们的来源
- java - 如何使用 Ansible Playbook 检查目标机器中安装的不同 JAVA?
- php - 如果深渊 Web 服务器(为 php 设置)已经使用 localhost,我应该如何使用 mysql 启动 Apache 服务器?
- python - 为什么只有异步函数才能在异步代码中产生?
- c# - 如何从 MVVM Caliburn Micro 中的模型触发 ViewModel 方法
- reactjs - 重定向后访问功能组件中的状态
- python - 使用 python 库 FundamentalAnalysis 下载各种 Ticker 的关键比率
- c - 为什么以下代码的输出是 543 而不是 345?
- python - 在 Python 中使用 bytearray 究竟是如何工作的?
- c# - TimeSpan的系统文本JsonSerializer反序列化