selenium - 用于在 python 中构建 Web 应用程序的库，可在后台从 Web 中抓取数据

Question

基本上，我想构建一个可以在后台登录到 3rd 方站点并从中抓取一些数据的 Web 应用程序。

对于构建 Web 应用程序，我正在考虑使用 Flask，而对于抓取部分，我正在考虑使用 Selenium - 但我不确定我托管 Web 应用程序 Selenium 是否可以正常工作。Scrapy 会更适合这样的目的吗？

我应该完全考虑其他事情吗？

标签： seleniumflaskscrapy

Answer 1

如果它的 Flask 使用 beautifulsoup（加载网页）；Selenium（webbrowser）和scrapy（抓取数据使用Scrapy中的Selector功能更有效，它会加快你的进程）