python - 如何在 python 程序中进行网页抓取时重定向到不同的网页？

Question

我想构建一个网络抓取程序，该程序接受用户输入，并将该输入提供给网站的搜索栏。然后，我想重定向到由搜索该术语产生的网页，并抓取该页面的 HTML。

执行此操作的最佳 Python 模块是什么？一些建议和学习资源将不胜感激，谢谢。

标签： pythonweb-scraping

Answer 1

您需要学习这些模块。

• requests- https://docs.python-requests.org/en/master/
• beautifulsoup- https://www.crummy.com/software/BeautifulSoup/bs4/doc/
• Selenium- https://selenium-python.readthedocs.io/