python - 是否可以暂停递归蜘蛛，直到所有线程都完成？

Question

我正在使用 Python Scrapy 递归地抓取多个整个网站。我想每抓取一个完整的网站就暂停我的蜘蛛。不幸的是，但很明显，如果我使用增量器进行操作，则很可能某些线程仍在进行中。所以这是我的问题，我们可以停止请求并等到仍在抓取的网站完成吗？

谢谢，

标签： pythonweb-scrapingscrapy