python - Scrapy：如何同时运行多个顺序爬取？

Question

我有 2 个网站 1 的 spider10 spider11 蜘蛛：和 2 个网站 2 的蜘蛛： spider20 spider21

我想按顺序运行网站 1 spider10，spider11同时（同时）也按顺序spider20运行spider21网站 2。

我知道如何顺序运行两个蜘蛛：

runner = CrawlerRunner()

@defer.inlineCallbacks
def crawl():
    yield runner.crawl(MySpider1)
    yield runner.crawl(MySpider2)
    reactor.stop()

crawl()
reactor.run() 

同时：_

runner = CrawlerRunner()
runner.crawl(MySpider1)
runner.crawl(MySpider2)
d = runner.join()
d.addBoth(lambda _: reactor.stop())

reactor.run()

但是如何同时运行两组顺序蜘蛛呢？

标签： pythonscrapy