python - 如何使用 python 抓取网络活动和响应？

Question

当我们打开 Google Chrome 的检查元素并转到网络选项卡（而不是默认元素选项卡）时，我们可以监控浏览器发送的请求和内容。当我转到此特定链接（我无法共享该链接）时，我会收到这些json响应（如图所示），并且此选项卡会实时记录响应。现在，有数百个链接，我不想点击每个链接只是为了记录网络活动和json响应。我知道selenium是一个网络浏览器 API，我知道bs4是用于网络抓取的。问题是，如何json使用 python 自动记录发送的请求链接和响应（如图所示）？

标签： pythonweb-scraping