首页 > 技术文章 > 暑假周报告1

g414056667 2020-08-04 09:55 原文

上周主要学习了Python的相关知识

   1.Python基础知识

    2.基于Python的爬虫有关知识

并且综合实战自己完成了一套中国疫情的监控系统,其中涉及的知识面还是很多的:

  1.Python的基本语法:字符串切片,元组定义,列表定义,字典定义,列表和字典的遍历,还有俩个列表合并为一个字典等等

   2.爬虫的基本知识,urlib发送请求,requests发送请求,以及数据提取和清洗,数据的提取主要用到了 xpath元素定位和selector元素定位,数据清洗是解析网页结构之后的基本操作

   3.Python与后台的MySQL交互,这一部分关键不是数据库的连接和关闭,而是sql语句的书写,以及查出数据之后的形式以及用列表,字典,元组等基本操作函数来把数据变成自己想要的形式

   4.用flask搭建web服务,并且通过ajax实现前端和后端的数据交互,这里最关键的是ajax向路由发送请求的时候要注意路径,默认的是 http://127.0.0.1:5000/+路由名称,必须写全才可以,只写路由名称会有404报错,无法得到数据(这个坑我找了整整2.5小时,太痛苦了),还有可能是flask跨域问题导致的,需要安装 flask_cors这个包.

   5.爬取百度7日热搜榜的全部内容,并且制作百度热词云图,学会了使用selnium爬取,并且分词的时候用到了“结巴”这个库很智能的将热搜内容进行分词。

前几天学习的基本就是这么多,下周要开始大数据的学习。

其中中国疫情监控系统后续还需要部署,以及使用crontab定时调度爬虫。

疫情监控系统基本成型,但是还有几个地方需要修改,目前成品如下:

 

推荐阅读