python - 在 Python 中模拟页面访问

Question

我想在从服务器角度看到的网站上自动执行以下操作：

1. 用户访问网站
2. 用户通过 cookie 进行身份验证
3. 用户点击内部链接

所以基本上它是一个以预定方式导航网站的简单机器人。我将如何在 Python 中创建类似的东西以在 Raspberry Pi 上运行？

标签： pythonwebbots

Answer 1

有许多不同的方法，但我将列出一些，以便您知道要搜索的内容：

1. requests使用 cookie 和 python库以及内部编写一个简单的请求cookiejar
2. 使用 Python +美丽的汤
3. 使用Scrapy库编写爬虫以连接到站点并跨页面收集信息（按照它找到的链接）
4. 如果您需要运行 Javascript，请查看使用Selenium