scrapy - 为什么运行特定的蜘蛛不起作用(但运行所有的蜘蛛)
问题描述
我创建了一个scrapy项目,并希望有两个独立的蜘蛛(有两个不同的名字): 1
我试图只使用命令scrapy crawl nameofthespider 运行“listing_enseigne.py”蜘蛛,但似乎这个命令也运行另一个蜘蛛(来自文件“detail_enseigne.py”)......
但是,在查看scrapy 文档时,似乎该命令应该只运行命名的蜘蛛。
如果有人可以帮助我..谢谢!
编辑1:确实,scrapy不会同时运行它们,但它会执行在实际蜘蛛之前运行的所有蜘蛛中的所有代码(感谢wishmaster的回答)。我真的不明白如何组织我的蜘蛛。我想要第一个蜘蛛从网站收集 url(实际上第一个蜘蛛应该导出包含多个信息的 csv 文件,包括 url)。然后我想让第二个蜘蛛从导出文件夹中找到最新文件,从这个最新文件中收集所有 url,然后解析这个 url 以收集其他信息......
解决方案
推荐阅读
- spring - 在spring boot中将@Conditional添加到现有的spring注解中
- oracle - 为什么动态sql语句报错
- firebase - Firestore increment() 是否支持最小/最大?
- c++ - 在堆栈上创建的对象包含什么?
- erlang - 为什么这个 gen_statem 调用阻塞?
- c# - 统一网络 | 权限问题 - 玩家可以移动但不能独立射击
- git - 如何正确地将不同的“开发”分支合并到主分支中?
- react-native - React Native 中的 Meteor.connect 抛出错误(版本 0.61.5)
- php - PHP:松耦合参数化工厂。可能吗?
- vb.net - VB.NET 初始排序顺序