首页 > 解决方案 > 为什么运行特定的蜘蛛不起作用(但运行所有的蜘蛛)

问题描述

我创建了一个scrapy项目,并希望有两个独立的蜘蛛(有两个不同的名字): 1

我试图只使用命令scrapy crawl nameofthespider 运行“listing_enseigne.py”蜘蛛,但似乎这个命令也运行另一个蜘蛛(来自文件“detail_enseigne.py”)......

但是,在查看scrapy 文档时,似乎该命令应该只运行命名的蜘蛛。

如果有人可以帮助我..谢谢!

编辑1:确实,scrapy不会同时运行它们,但它会执行在实际蜘蛛之前运行的所有蜘蛛中的所有代码(感谢wishmaster的回答)。我真的不明白如何组织我的蜘蛛。我想要第一个蜘蛛从网站收集 url(实际上第一个蜘蛛应该导出包含多个信息的 csv 文件,包括 url)。然后我想让第二个蜘蛛从导出文件夹中找到最新文件,从这个最新文件中收集所有 url,然后解析这个 url 以收集其他信息......

标签: scrapy

解决方案


推荐阅读