print(d["data"])

 看看data的数据类型是什么

print(type(d["data"]))

返回结果：
>>>
<class 'str'>

再用json模块加载data里的数据到新的变量data_all（即str加载成字典格式）

data_all=json.loads(d["data"])
print(type(data_all))

>>>
<class 'dict'>

看一下这个字典格式的data里面有什么

data_all.keys()

>>>
dict_keys(['lastUpdateTime', 'chinaTotal', 'chinaAdd', 'isShowAdd', 'showAddSwitch', 'areaTree', 'chinaDayList', 'chinaDayAddList', 'dailyNewAddHistory', 'dailyHistory', 'wuhanDayList', 'articleList'])

打印一下前几个看看怎么样

拿到数据的完整代码

import pymysql
import time 
import json
import traceback  #追踪异常
import requests

def get_tencent_data(): 
    """
    :return: 返回历史数据和当日详细数据
    """
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
    }
    r = requests.get(url, headers)
    res = json.loads(r.text)  # json字符串转字典
    data_all = json.loads(res['data'])

    history = {}  # 历史数据
    for i in data_all["chinaDayList"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")
        ds = time.strftime("%Y-%m-%d", tup)  # 改变时间格式,不然插入数据库会报错，数据库是datetime类型
        confirm = i["confirm"]
        suspect = i["suspect"]
        heal = i["heal"]
        dead = i["dead"]
        history[ds] = {"confirm": confirm, "suspect": suspect, "heal": heal, "dead": dead}
    for i in data_all["chinaDayAddList"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")
        ds = time.strftime("%Y-%m-%d", tup)
        confirm = i["confirm"]
        suspect = i["suspect"]
        heal = i["heal"]
        dead = i["dead"]
        history[ds].update({"confirm_add": confirm, "suspect_add": suspect, "heal_add": heal, "dead_add": dead})

    details = []  # 当日详细数据
    update_time = data_all["lastUpdateTime"]
    data_country = data_all["areaTree"]  # list 25个国家
    data_province = data_country[0]["children"]  # 中国各省
    for pro_infos in data_province:
        province = pro_infos["name"]  # 省名
        for city_infos in pro_infos["children"]:
            city = city_infos["name"]
            confirm = city_infos["total"]["confirm"]
            confirm_add = city_infos["today"]["confirm"]
            heal = city_infos["total"]["heal"]
            dead = city_infos["total"]["dead"]
            details.append([update_time, province, city, confirm, confirm_add, heal, dead])
    return history, details

数据存储

创建数据库cov,然后建两张表

• history 表存储每日总数据

  CREATE TABLE `history` ( 
  `ds` datetime NOT NULL COMMENT '日期', 
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊', 
  `confirm_add` int(11) DEFAULT NULL COMMENT '当日新增确诊', 
  `suspect` int(11) DEFAULT NULL COMMENT '剩余疑似', 
  `suspect_add` int(11) DEFAULT NULL COMMENT '当日新增疑似', 
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈', 
  `heal_add` int(11) DEFAULT NULL COMMENT '当日新增治愈', 
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡', 
  `dead_add` int(11) DEFAULT NULL COMMENT '当日新增死亡', 
  PRIMARY KEY (`ds`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
       

•  details 表存储每日详细数据

  CREATE TABLE `details` ( 
  `id` int(11) NOT NULL AUTO_INCREMENT, 
  `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间', 
  `province` varchar(50) DEFAULT NULL COMMENT '省', 
  `city` varchar(50) DEFAULT NULL COMMENT '市', 
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊', 
  `confirm_add` int(11) DEFAULT NULL COMMENT '新增确诊', 
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈', 
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡', 
  PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
  

  使用 pymysql 模块与数据库交互

  安装： pip install pymysql

  ​ ① 建立连接 ② 创建游标 ③ 执行操作 ④ 关闭连接

  pymysql基础&测试

  随便插入一条数据测试一下

• #pymysql 的简单使用
  
  #建立连接
  conn = pymysql.connect(host="127.0.0.1",
                        user="root",
                        password="123456",
                        db="cov")
  #创建游标，默认是元组型
  cursor = conn.cursor()
  
  sql= "insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
  cursor.execute(sql,[time.strftime("%Y-%m-%d"),10,1,2,3,4,5,6,7])
  conn.commit() #提交事务
  # res = cursor.fetchall()
  cursor.close()
  conn.close()

  存储&操作

  def get_conn():
      """
      :return: 连接，游标
      """
      # 创建连接
      conn = pymysql.connect(host="127.0.0.1",
                             user="root",
                             password="123456",
                             db="cov",
                             charset="utf8")
      # 创建游标
      cursor = conn.cursor()  # 执行完毕返回的结果集默认以元组显示
      return conn, cursor
  
  
  def close_conn(conn, cursor):
      if cursor:
          cursor.close()
      if conn:
          conn.close()
  def update_details():
      """
      更新 details 表
      :return:
      """
      cursor = None
      conn = None
      try:
          li = get_tencent_data()[1]  #  0 是历史数据字典,1 最新详细数据列表
          conn, cursor = get_conn()
          sql = "insert into details(update_time,province,city,confirm,confirm_add,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"
          sql_query = 'select %s=(select update_time from details order by id desc limit 1)' #对比当前最大时间戳
          cursor.execute(sql_query,li[0][0])
          if not cursor.fetchone()[0]:
              print(f"{time.asctime()}开始更新最新数据")
              for item in li:
                  cursor.execute(sql, item)
              conn.commit()  # 提交事务 update delete insert操作
              print(f"{time.asctime()}更新最新数据完毕")
          else:
              print(f"{time.asctime()}已是最新数据！")
      except:
          traceback.print_exc()
      finally:
          close_conn(conn, cursor)
  def insert_history():
      """
          插入历史数据
      :return:
      """
      cursor = None
      conn = None
      try:
          dic = get_tencent_data()[0]  # 0 是历史数据字典,1 最新详细数据列表
          print(f"{time.asctime()}开始插入历史数据")
          conn, cursor = get_conn()
          sql = "insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
          for k, v in dic.items():
              # item 格式 {'2020-01-13': {'confirm': 41, 'suspect': 0, 'heal': 0, 'dead': 1}
              cursor.execute(sql, [k, v.get("confirm"), v.get("confirm_add"), v.get("suspect"),
                                   v.get("suspect_add"), v.get("heal"), v.get("heal_add"),
                                   v.get("dead"), v.get("dead_add")])
  
          conn.commit()  # 提交事务 update delete insert操作
          print(f"{time.asctime()}插入历史数据完毕")
      except:
          traceback.print_exc()
      finally:
          close_conn(conn, cursor)
  def update_history():
      """
      更新历史数据
      :return:
      """
      cursor = None
      conn = None
      try:
          dic = get_tencent_data()[0]  #  0 是历史数据字典,1 最新详细数据列表
          print(f"{time.asctime()}开始更新历史数据")
          conn, cursor = get_conn()
          sql = "insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
          sql_query = "select confirm from history where ds=%s"
          for k, v in dic.items():
              # item 格式 {'2020-01-13': {'confirm': 41, 'suspect': 0, 'heal': 0, 'dead': 1}
              if not cursor.execute(sql_query, k):
                  cursor.execute(sql, [k, v.get("confirm"), v.get("confirm_add"), v.get("suspect"),
                                       v.get("suspect_add"), v.get("heal"), v.get("heal_add"),
                                       v.get("dead"), v.get("dead_add")])
          conn.commit()  # 提交事务 update delete insert操作
          print(f"{time.asctime()}历史数据更新完毕")
      except:
          traceback.print_exc()
      finally:
          close_conn(conn, cursor)
  #插入历史数据
  insert_history()
  
  >>>
  Mon Feb 17 01:43:37 2020开始插入历史数据
  Mon Feb 17 01:43:40 2020插入历史数据完毕

  爬取百度热搜数据

  百度的数据页面使用了动态渲染技术，我们可以用 selenium 来爬取

  selenium

  • selenium 是一个用于 web 应用程序测试的工具,直接运行在浏览器中，就像真正的用 户在操作一样

  • 安装：pip install selenium

  • 安装浏览器（Firefox、Google等）

  • 下载对应版本浏览器驱动：http://npm.taobao.org/mirrors/chromedriver/

    版本查看方法：例：Google的是 设置>>关于Chrome

    找到对应版本下载解压到之前创建的note文件夹