python - 抓取网站时缺少 Python html

Question

我试图使用类似的代码来抓取网站

import requests
requests.get("myurl.com").content

但是网站上的一些重要元素丢失了。如何使用 Python 3 获取整个网站内容，就像在 Firefox 或其他浏览器中使用检查器一样？

标签： pythonhtmlweb

Answer 1

为什么不试试 Scrapy、Selenium 甚至 Splash？它们是强大的抓取库。