首页 > 技术文章 > 爬取异步请求网站思路

fuzzier 2017-09-19 14:27 原文

本人先整理一遍思路

1 源码内找不到搜索的内容:

  1.1 ajax请求,也就是本文的内容

  1.2 数据经过加密需要js进行解密

2 如果是ajax请求,我们可以通过抓包,对其进行请求进行分析,

  2.1 找到我们需要的通过异步请求的url,

  2.2 对其response进行分析,找到我们的数据。

3 请求该url,在这过程中看看需不需要获取cookie,也就是需要验证身份后才能请求

  

推荐阅读