scrapy - Scrapy 安全暂停和启动

Question

我知道我可以使用命令

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

记录爬虫的运行信息，保证爬虫暂停后可以重新启动，会在当前暂停的位置继续爬取。

但是如果爬虫在服务器后台静默运行，是没有办法执行ctrl+c的

我知道的方式是 ps -df 找到爬虫的进程并 kill -s 9 id 以强制爬虫关闭的方式。但这不可避免地会打断爬虫的一些收尾工作。JOBDIR=crawls/somespider-1 下次启动时会丢失。我该怎么做才能安全地停止爬虫？

标签： scrapy

Answer 1

根据kill提供的文档，可以使用kill -2 pid 安全停止爬虫相当于ctrl+c