python - 使用 selenium 抓取多个 javascript 网站可以更快吗？

Question

实际上，我正在做一项从 trello.com 刮板卡的抓取工作（如果有人熟悉 trello，他可能已经知道那些不熟悉 trello 的人，它是一个动态网站，其中包含包含有关待办事项信息的卡片）。我已经成功地在 selenium python webdriver 中编写了一个脚本，它首先抓取 trello，从中获取谷歌地图链接，转到地图位置，抓取该位置的图像，返回到 trello 并将这些图像的链接一一附加到卡片作为附件。
一张卡需要 1.5 到 2 分钟才能完成这个过程，但我有 6000 张卡，所以如果我坚持下去，我肯定会被搞砸的。
我正在找人好心地告诉我一个更好的方法来做到这一点。如果我使用带有splash的scrapy，那会比这更快吗？
或者我没有其他选择？
提前致谢...！

标签： pythonseleniumweb-scrapingscrapy