javascript - 使用 webcrawler 获取从异步函数调用的站点上的数据
问题描述
我向该站点发送了一个 GET 请求并取回了 html 正文:
https://www.itftennis.com/juniors/tournaments/tournament/info.aspx?tournamentid=1100042329
如果您单击“结果”,则可以单击不同的类别并获取不同的球员和数据。
然而,数据实际上并不在这个 html 正文中,它是从函数 ajaxLoadTourResults 加载的。反正有没有使用 HTTP 请求来获取这些数据?没有对 eventId 等的硬编码值?
解决方案
您可以使用 Puppeteer 的 Tracing 方法来实现这一点,看看:
https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#class-tracing
推荐阅读
- mongodb - Ubuntu 18.04 中的 MongoDB Zip 安装失败
- python - 如何使用 Flask 应用程序和 BaleBot 向用户发送消息
- java - 了解正则表达式以从字符串中删除 HTML 标记
- python - 我应该如何使以下打印语句为一行的每个部分占用一致的空格数?
- php - 定义一个类来调用它的函数,但它无法识别并显示错误
- grpc - 使用 gevent 和 grpc 缩放问题
- javascript - 如何使用 JavaScript RegExp 捕获特定组?
- javascript - Redux createStore 源代码 - 增强器递归回调部分的无限循环风险?
- javascript - (Vanilla JS)使用单击事件侦听器捕获数组元素的索引?
- arrays - 确定Ruby中嵌套数组的中值元素?