时间戳

首页 > 解决方案 > 如何使用 selenium Web 驱动程序托管由 Web 抓取提供支持的后端服务？

python - 如何使用 selenium Web 驱动程序托管由 Web 抓取提供支持的后端服务？

问题描述

所以我正在开发一个项目来抓取网站并向用户提供数据，但是我正在使用 selenium/selenium web 驱动程序和 python/flask。我本来打算用beautifulsoup，但是我正在抓取的网站需要在页面上进行一些交互。

我的所有东西都可以使用刮板，如果我想使用诸如 heroku 之类的服务在网站上托管此服务，我只是想找出一种使这项工作普遍工作的方法。

目前 Selenium 正在打开一个 chrome 浏览器并以这种方式浏览页面。有没有一种聪明的方法可以在不打开浏览器的情况下做到这一点，并且在使用某些服务托管时可以无缝工作？

标签： pythonseleniumselenium-webdriverflaskweb-scraping

解决方案

您可以为您的驱动程序使用“--headless”参数。

该参数将完成这项工作，但无需打开实际的浏览器。

例子：

chrome_options = Options()
chrome_options.add_argument("--headless")

driver = webdriver.Chrome(r"drivers/chromedriver.exe",options=chrome_options)

推荐阅读