爬虫综合大作业

一.把爬取的内容保存取MySQL数据库

import pandas as pd
import pymysql
from sqlalchemy import create_engine
conInfo = "mysql+pymysql://user:passwd@host:port/gzccnews?charset=utf8"
engine = create_engine(conInfo,encoding='utf-8')
df = pd.DataFrame(allnews)
df.to_sql(name = ‘青年版', con = engine, if_exists = 'append', index = False）

二.爬虫综合大作业

选择一个热点或者你感兴趣的主题。
选择爬取的对象与范围。
了解爬取对象的限制与约束。
爬取相应内容。
做数据分析与文本分析。
形成一篇文章，有说明、技术要点、有数据、有数据分析图形化展示与说明、文本分析图形化展示与说明。
文章公开发布。

本次作业爬取得是我最喜欢的快看漫画网站：https://www.kuaikanmanhua.com/

快看漫画是快看世界（北京）科技有限公司于2014年发行的一款移动端漫画APP，向用户提供高清全彩的国内外原创漫画阅读。

2017年12月1日，国内第一漫画消费平台快看漫画宣布完成D轮融资，由Coatue Management 领投、华人文化产业投资基金、襄禾资本等跟投，融资总金额为1.77亿美元，光源资本担任独家财务顾问。

软件特色

1、正版资源。

2、漫画分类齐全，每日编辑精选推荐！

3、条式排版颠覆传统漫画，配适手机的阅读体验！

4、作者V社区，亲密互动，一键关注，动态先知。

5、新社区

代表作品

代表作品：《整容游戏》、《复仇高中》、《复仇高中2016》、《快把我哥带走》等。

大事记

2014年12月，陈安妮发表漫画文章《对不起，我只过1%的生活》，转发近45万次，阅读量超过2.5亿，评论接近10万条。同期上线的快看漫画App在上线2个月成功吸引了超过200万次的下载，屡次登上App Store免费总榜第一。

2014年12月，快看漫画启动“30万元正版计划。

2015年1月，快看漫画App安卓版获得小米金米奖。

2015年10月，快看漫画独家作品《我弟弟是外星人》以及《复仇高中》登陆韩国最大收费漫画平台BOMTOON。

2015年10月，快看漫画首本主题书首印12万册，首本单行本《快把我哥带走》首印10万册，其中《关于我最喜欢的他》预售三天冲上亚马逊预售榜总榜第一、当当网新书热卖第一、天猫博库预售第一、天猫新华文轩第一以及登上亚洲好书榜第二；《关于我最喜欢的他》长期高居销售排行榜前列。

2015年10月，快看漫画作者团队南下巡签屡破记录，主题书共计签售出33000册；破广州购书中心签售记录，破东莞覔书店签售记录，破深圳中心书城签售记录。

2016年3月，快看漫画的总用户数突破3000万。

本次作业分析的是（各大排行版块）：

具体分为这几个热门板块：

上！代！码！（以日韩版为例子）

import requests
import time
import random
from bs4 import BeautifulSoup
import pandas as pd
 
headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }
   
def anews(url):
    newsDetail = {}
    
    res=requests.get(url)
    res.encoding='utf-8'
    
    soup=BeautifulSoup(res.text,'html.parser')
    newsDetail['题目']= soup.select('.title')[0].text  
    newsDetail['作者']= soup.select('.nickname')[0].text
    newsDetail['详情']= soup.select('.detailsBox')[0].text.replace("\r\n"," ") 
    
    for renqi in soup.select('.heat'):
       newsDetail['人气']= renqi.text.split()[0] 
    
    for dianzanshu in soup.select('.laud'):
       newsDetail['点赞数']= dianzanshu.text.split()[3] 
       
 
    return newsDetail

url = 'https://www.kuaikanmanhua.com/ranking/9'
resourses = requests.get(url,headers=headers)
resourses.encoding = 'UTF-8'
soup = BeautifulSoup(resourses.text, 'html.parser')
newsList = []
for tag in soup.find_all('div', class_='IdItems fl'):  
    time.sleep(random.random()*3)
    url = 'https://www.kuaikanmanhua.com{}/'.format(tag.find('a').get('href')) 
    print( anews(url))
    newsList.append(anews(url))
    newsdf = pd.DataFrame(newsList)
    newsdf.to_csv("日韩榜数据.csv",encoding="utf_8_sig");

分析代码：

1.首先获取a便签的href连接，跳转获取每个作品的详细内容

2.获取每个作品的详细信息

获取数据后，分析数据（截取Top20分析）：

少年榜

这个版块一般是推荐给男生看（app有明显的分男女版本，网页没有这个有点可惜！），从Top20上来看，枪爷异闻录，人类进化论，超能立方深受欢迎！人气最高达到35+亿！点赞值它们基本都是稳定在这个排名左右，比如人类进化论稳居第二！而枪爷异闻录超能立方都是上升2名！这个榜单人生观有点复杂，有时候得等作者出来说出来才弄懂~

图1 少年榜T20人气值

图1 少年榜T20点赞值

少女榜

这个版块一般是推荐给小女生看（我最喜欢这个版块~），从Top20上来看，怦然心动，甜美的咬痕，DOLO命运胶囊等（列表中这几部我都有追！超甜！）人气达到180+亿！前五部都是稳居排名！从人气值数据得知看快看漫画女孩子居多，当然也不排除男孩子也有看，虽然我觉得它放在少女榜，我怎么觉得男孩子也在看哈哈~

图3 少女榜T20点赞值

图4 少女榜T20人气值

青年榜

从前任战争的详情——爱情，是一场战争。没有硝烟，却容易让人遍体鳞伤中可以知道青年版讲的比较多是社会现象，很多撕逼的，狗血的社会现象，更多将现代青年人如何面对社会现象做出选择，挺正能量的一个榜单！从Top20上来看，前任战争，贫穷少女，魔道祖先等人气达到500+亿！因为都是这个榜单是新榜单，所以都是新进黑马！这个榜单强烈案例！三观很正！

图5 青年榜T20人气值

图6 青年榜T20点赞值

新作榜

这个进的新作者的版单，很多奇奇古怪的世界观，天马行空，很适合想象力丰富的孩子，这是涌入新人才的好地方！从Top20上来看，拯救我的高一班，逆风之花，粉粹星辰等人气达到6亿（毕竟是新手，有名画家就算不是快看漫画的死忠粉也会为了作家来这个网站看或者通过查询观看）！因为都是这个榜单都是新手，跌跌落落是常态，不大稳定！希望更多画家勇者接受挑战！