首页 > 技术文章 > 爬虫学习笔记(二)http请求详解

sriba 2017-12-15 15:27 原文

上篇博客里面写了,爬虫就是发http请求(浏览器里面打开发送的都是http请求),然后获取到response,咱们再从response里面找到想要的数据,存储到本地。

咱们本章就来说一下什么是http请求,它里面都有哪些东西,我们在写爬虫的时候,怎么http请求里面哪些对我们的爬虫有影响。

http请求过程

 

咱们打开一个网站的时候,过程是这样的客户端(浏览器)发送请求到服务端(你打开的网站所在的服务器),服务端接收到请求,处理,返回数据给客户端(浏览器),然后咱们在浏览器里面看到了数据。

明白了这个过程之后呢,咱们再来说http请求里面都包含了什么东西。

推荐阅读