selenium - 一个具有多个不同 URL 的脚本来抓取信息

Question

我试图在一次运行中从多个 URL 中抓取信息。这可能吗？考虑到我正在从每个 URL 中抓取不同的信息，并且 HTML 当然会发生变化。

例如......我当前的脚本看起来像这样：

1. 导入和表单（我正在使用 Selenium、web 驱动程序、beautiful soup 和 pandas）
2. 登录功能
3. 网址列表
4. 身体
5. ?

我可以使用不同的脚本来抓取信息，问题是我想将脚本合并为一个，以便一次运行即可抓取所有内容。URL 几乎相同，实际上是相同的网页，但不同的选项卡会稍微改变 URL。

我的第 5 步是什么？是否可以在我当前的脚本中添加另一个块，以便它可以使用不同的 url_list 继续按顺序抓取？订单会是什么样子？（我使用 Spyder 作为 IDE）

我感谢任何想法，如果有任何问题和意见，请告诉我。

我衷心感谢您的帮助。

谢谢

标签： seleniumweb-scrapingbeautifulsoup