四、Python-Redis、加密和解密、mock接口开发、网络请求

（一）Redis

1、数据库分为关系型数据库和非关系型数据库：

（1）关系型数据库分为：MySQL、Oracle、SQL Server、SQLite...

　　数据库

　　表

　　SQL语句

（2）非关系型数据库分为：NoSQL（Redis、MongoDB...）

　　key-value

　　Redis：存在内存里面，做缓存用。

　　MongoDB：放在磁盘里面。

2、Redis（Remote Dictionary Server）：（摘自：http://www.redis.cn/）

　　Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（high availability）。

3、Redis与其他key-value缓存产品的特点：

（1）Redis支持数据的持久化，将内存中的数据保存在磁盘中，重启后再次可以加载使用；

（2）Redis不仅支持简单的key-value类型的数据，还支持list、set、zset、hash数据结构存储；

（3）Redis支持数据备份，master-slave模式的数据备份。

4、根据自己的需求到官网下载安装：https://redis.io/download

5、Redis 命令参考：http://doc.redisfans.com/

6、数据结构：

（1）String：字符串，最基本的数据类型，最大能存储512MB。

（2）Hash：散列，是一个string类型的field和value的映射表，特别适合用于存储对象。（存储、读取、修改用户属性）

（3）List：列表，是简单的字符串类别，按照插入顺序排序。

（4）Set：集合，是string类型的无序集合，通过hash表实现的。

（5）Sorted Set：有序集合，是string类型元素的集合，且不允许重复的成员。

7、连接Redis：如图所示，填写自己的配置：

（1）配置信息填写：

（2）测试连接：

（3）查看当前库里的信息，都是key-value 结构：

8、使用Python来操作Redis-String类型，相当于字典类型

（1）Python中使用connection连接Redis

import redis
r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True
                )

（2）Python中利用跳板机ssh远程连接redis

from sshtunnel import SSHTunnelForwarder # ssh连接库
import redis # redis模块
server = SSHTunnelForwarder(
        ssh_address_or_host= , # ssh地址
        ssh_username=     , # ssh连接的用户名                    
        ssh_password=  ,  # ssh连接的用户名
        remote_bind_address=('远程机器地址', 端口号))

server.start()
r=redis.Redis(host='redis地址', port=server.local_bind_port, decode_responses=True)
server.close() #关闭连接

（3）string类型：添加数据

import redis
r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True
                )
#string
r.set('iphone','{"price":6999,"count":50}')

执行这个程序后，去Redis客户端查看是否有该数据存在：

（4）string类型：获取数据

r.set('students','{"name":John,"age":15,"hobby":"playing Games"}')
print(r.get('students'))

　　执行结果为：

（5）string类型：删除数据

import redis
r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True
                )
r.set('矿泉水','{"price":10.5,"count":20}')
data = r.get('矿泉水')
r.delete('矿泉水')

（6）string类型：修改数据

import redis
r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True
                )
r.set('矿泉水','{"price":10.5,"count":20}')
r.set('矿泉水','xxxx')

（7）bytes：字节类型（上传一个图片或者下载一个图片会遇到这个字节类型）

# bytes类型通过wb写入
f = open('a.jpg','wb')
f.write('xxx')

bytes类型和字符串类型相互转换

data = r.get('矿泉水')
data.decode()  # bytes类型转换成字符串
s='hello'
s.encode()     # 字符串转换成bytes类型

（8）Python中设置过期时间：（指定某个key的过期时间）

expire_time = 60 * 60 * 24
r.set('Bob_session','sdgx312vsdrq',expire_time)

Redis客户端过期时间显示：

9、使用Python来操作Redis-hash类型，相当于二维字典

（1）Hash添加数据

r.hset('salary','Ann','{"money":2500}')
r.hset('salary','Sarah','{"money":5500}')
r.hset('salary','Sun','{"money":3860}')
r.hset('salary','Beans','{"money":7800}')

　　Redis客户端查看新增的数据：

（2）Hash获取数据

# 获取单个数据
print(r.hget('salary','Ann'))

# 获取所有的数据
int(r.hgetall('salary'))

（3）Hash-当含有bytes类型，需要变成正常的字典类型

d = r.hgetall('students')
new_d  = {}
for k,v in d.items():
     new_d[k.decode()] = v.decode()
print(new_d)

　　从根源上解决Bytes类型问题：

r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True     # 解决Bytes类型问题
                )

（4）Hash-修改数据

（5）Hash-删除数据

r.hdel('salary','Bob')

（6）设置过期时间

# 指定某个key的过期时间
r.expire('salary',1000)

10、String和Hush（Redis客户端展示）

（1）String

（2）Hash

（3）从Redis取数据：Key是什么，Key的类型是什么

（4）删掉大Key值：

r.delete('students')

11、Redis其他命令：

# 获取当前数据库有多少key
print(r.keys())

# 获取具体的某个开头的key进行匹配
print(r.keys('s*'))

#查看key的类型
print(r.type('students'))

# 清空当前数据库里面所有的key
print(r.flushdb()) 

# 清空所有数据库里面所有的key
print(r.flushall())

#判断Key存不存在
print(r.exists('students'))

12、Redis-管道：批量操作

（1）Python中建立管道，批量执行操作

p= r.pipeline()  #建立管道

p.hset('salary','Ann','{"money":2500}')
p.hset('salary','Sarah','{"money":5500}')
p.hset('salary','Sun','{"money":3860}')
p.hset('salary','Beans','{"money":7800}')

# 执行，返回一个list，这个list里面是每个命令执行的结果
p.execute()

（2）使用管道和不用管道对比时间：

import redis
import time

r = redis.Redis(host='118.24.3.40',
                password='HK139bc&*',
                port=6379,
                db=2,
                decode_responses=True
                )
# 不用管道：
start_time =time.time()
for i in range(100):
    r.set('key%s'%i,'%s'%i)
print('不用管道的时间',time.time() - start_time)

# 使用管道：
start_time =time.time()
p = r.pipeline()
for i in range(100):
    p.set('pipeline_key%s'%i,'%s'%i)
p.execute()
print('用管道的时间',time.time() - start_time)

执行最后的结果为：

13、Python里新增数据带有文件夹，key里有冒号：就会有文件夹

r.set('product:water','{"count":1,"price":5}')
r.set('product:apple','{"count":1,"price":15}')
r.set('product:melon','{"count":1,"price":35}')

　　在Redis客户端中可以查看到添加的文件夹里数据信息

14、当前服务器需要向另外一个服务器进行Redis数据迁移

编程分析：

r = redis.Redis(host='118.24.3.40',
                 password='HK139bc&*',
                 port=6379,
                 db=14,
                 decode_responses=True
                 )

r2 = redis.Redis(host='118.24.3.40',
                 password='HK139bc&*',
                 port=6378,
                 db=14,
                 decode_responses=True
                 )
p = r2.pipeline()

for k in r.keys():
     key_type = r.type(k)
     if key_type == 'string':
         value = r.get(k)
         p.set(k,value)
     elif key_type =='hash':
         hash_data = r.hgetall(k) # {'XX':XXX}
         for field,data in hash_data.items():
             p.hset(k,field,data)
p.execute()

15、若需要多个数据库操作，需要循环数据库：（一般用不到）

for i in range(17):
    r = redis.Redis(host='118.24.3.40',
                    password='HK139bc&*',
                    port=6379,
                    db=i,
                    decode_responses=True
                    )
    r2 = redis.Redis(host='118.24.3.40',
                    password='HK139bc&*',
                    port=6379,
                    db=i,
                    decode_responses=True
                    )

（二）加密和解密

1、加密，md5是一种不可逆，同时也是常见的加密方式，需要导入hashlib模块：

（1）实例1代码：

import hashlib

s = '123456'

# 对字符串进行加密
m = hashlib.md5(s) 

 # 加密后的结果用二进制表示 
result = m.hexdigest() 
print(result)

（2）执行结果报错，这是因为MD5必须传Bytes类型的：hashlib.md5()

（3）解决方法：将字符串转换成bytes类型

#导入hashlib模块
import hashlib

# 定义字符串
s = '123456'

# 将字符串转换成bytes类型
s =s.encode()

# 对字符串进行加密
m = hashlib.md5(s) 

# 加密后的结果用二进制表示 
result = m.hexdigest()  
print(result)

执行结果为：

（4）同样的字符串，MD5出来的结果都一样

（5）加盐，例如设置用户表

import hashlib

# 密码+随机字符串（随机字符串就叫盐值）
s = '123=123' + 'djsjks51@#$$' 

# 转换成bytes
s = s.encode()   
m = hashlib.md5(s)  # bytes，不可逆
result = m.hexdigest()
print(result)

（6）定义函数

def my_md5(s):
    s = str(s)
    s = s.encode()
    m = hashlib.md5(s)
    result = m.hexdigest()
    return result

2、加密主要有两种方式：对称加密和非对称加密

（1）对称加密：对称加密算法在加密和解密时使用的是同一个秘钥。

对称加密的模式是：甲方选择某一种加密规则，对信息进行加密；乙方使用同一种规则，对信息进行解密；

客户端和服务端进行通信，采用对称加密，若使用同一个秘钥很容易破解，若使用不同的秘钥，秘钥的管理和传输成本又较高；

（2）非对称加密：非对称加密算法需要两个秘钥来进行加密和解密，分别为：公开密码（公钥）和私有秘钥（私钥）。

乙方生成两把密钥（公钥和私钥）。公钥是公开的，任何人都可以获得，私钥是保密的。

甲方获取乙方的公钥，然后用它对信息加密。

（3）http和https

常规的http请求，明文传播；

https可以认为是：http + TLS ，TLS是传输层加密协议，前身是SSL协议

3、解密（撞库解密）

（1）拖库与撞库：

　拖库是指黑客盗取了网站的数据库。撞库是指黑客用拖库获得的用户名和密码在其它网站批量尝试登陆，进而盗取更有价值的东西。由于一些用户在多个网站用相同的用户名和密码，所以撞库是有一定成功率的。要想撞库，必须得知道密码的明文，也就是用户真正输入的密码。

（2）MD5实际上只能破解比较简单的密码

4、Base64加密：是可以破解的

（1）例如百度搜索“动画片”url中里面是转译密文

https://www.baidu.com/s?wd=%E5%8A%A8%E7%94%BB%E7%89%87&rsv_spt=1&rsv_iqid=0xcc0d32ae00192d4f&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&rsv_dl=tb&oq=%25E5%258A%25A0%25E5%25AF%2586%25E6%2592%259E%25E5%25BA%2593&rsv_t=298fJqJmONwDQA1vi18GP009wC%2Fh67nlOij54DtqzQ7X6efhzWNd7AcKIyB6FO0SBNyM&rsv_btype=t&inputT=10055&rsv_pq=b07987030011a206&rsv_sug3=80&rsv_sug1=32&rsv_sug7=101&bs=%E5%8A%A0%E5%AF%86%E6%92%9E%E5%BA%93

（2）Base64使用：

import base64
# 一般用于传输数据过程中
# 加密
s = 'sjfkjdkjxh1145646你好'
r = base64.b64encode(s.encode())
result =r.decode()
print(result)

# 解密
r = base64.b64decode('c2pma2pka2p4aDExNDU2NDbkvaDlpb0=')
print(r.decode)

（三）mock接口开发：开发接口，模拟数据

1、Python中可安装flash模块或fastapi模块：

# 建议安装FastAPI接口
pip install fastapi

# 若安装了FastAPI，还需要安装一个ASGI服务器，用于生产如Uvicorn或Hypercorn
pip install uvicorn

# 或者安装Flask
pip install Flask

2、FastAPI （摘自：https://fastapi.tiangolo.com/）

FastAPI是一种现代、快速（高性能）的Web框架，快速编码，更少的错误，直观简易，短而健壮，基于API的开放标准：OpenAPI（旧称Swagger）和JSON Schema。

3、如何mock接口开发：

（1）例如银行姓名需要查询产品、开户接口

# Product 
{
"code":0,
"data":[
{"id":1,"product_name":"XXX"},
{"id":2,"product_name":"XXX"},
{"id":3,"product_name":"XXX"},
{"id":4,"product_name":"XXX"},
{"id":5,"product_name":"XXX"}
]
}

（2）使用fastapi编写接口

import fastapi   # 自动生成一个API接口文档
import uvicorn

# 启动一个服务
server = fastapi.FastAPI()

@server.get('/login')
def login(username:str,password:str):
    return {'username':username,'password':password}
uvicorn.run(server,port=8800,debug=True)

执行结果如下：

（3）复制url在浏览器打开，添加参数：http://127.0.0.1:8800/login

（4）在http://127.0.0.1:8800/login，再次补充其他参数：http://127.0.0.1:8800/login?username=Ann&password=123456

（5）定义一个不加参数的接口：

@server.get('/test')
def test():
    return {'msg':'hello world!'}
uvicorn.run(server,port=8800,debug=True)

　　在浏览器打开输入url：http://127.0.0.1:8800/test，就可以看到无参数的接口信息

（6）查看接口文档：http://127.0.0.1:8800/docs（根据设置的端口进行查看）

（7）在接口文档中修改参数进行执行

执行结果如下：

（8）定义一个product接口：

import fastapi
import uvicorn
server = fastapi.FastAPI()

@server.get('/product')
def test():
    return {
        'code':0,
        'data':[
            {'product_name': '基金1号', 'status': 0},
            {'product_name': '基金2号', 'status': 2},
            {'product_name': '基金3号', 'status': 1},
            {'product_name': '基金4号', 'status': 0},
            {'product_name': '基金5号', 'status': 1}
        ]
    }

执行结果是：

注： http://127.0.0.1指的是本机的IP地址

若想别人访问你的地址需要加上host：，例如：

# 自己访问自己，无需加host

uvicorn.run(server,port=8800,debug=True)

# 若别人访问你的地址，需要加上host

uvicorn.run(server,port=8800,debug=True,host='0.0.0.0')

# http://127.0.0.1:8800/product
# http://192.168.1.xx:8800/product

（9）定义一个支付pay的接口

import fastapi
import uvicorn
server = fastapi.FastAPI()

@server.get('/pay')
def pay(money:float,status:str):
    if status == '0':
        return {'code':1, 'status':'fail'}
    elif status=='1':
        return {'code':0, 'status':'success','balance':money}

uvicorn.run(server,port=8800,debug=True)

打开浏览器，url中输入：http://127.0.0.1:8800/pay?money=1&status=0，如图所示：

pay接口中，status加上默认值1：

@server.get('/pay')

# status加上默认值1
def pay(money:float,status='1'):
    if status == '0':
        return {'code':1, 'status':'fail'}
    elif status=='1':
        return {'code':0, 'status':'success','balance':money}

uvicorn.run(server,port=8800,debug=True)

接口文档中显示默认值1：

（10）定义一个注册接口

@server.post('/register')
def register(username:str,password:str,cpassword:str):
    if username.strip() and password.strip() and cpassword.strip():
        if password.strip() != cpassword.strip():
            return {'code':-1, 'msg':'两次输入的密码不一致!'}
        else:
            sql = 'select * from app_myuser where username="%s";'%username
            if tools.execute_sql(sql):
                return {'code':-1, 'msg':'用户已经存在！'}
            else:
                p = tools.my_md5(password)
                insert_sql = 'insert into app_myuser (username,password) values ("%s","%s");'%(username,p)
                tools.execute_sql(insert_sql)
                return {'code':0, 'msg':'注册成功！'}
    else:
        return {'code':-1, 'msg':'必填参数不能为空!'}

前往postman应用中，进行接口测试：

（11）定义一个登录接口：

@server.post('/login')
def login(username:str=Form(...),password:str=Form(...)):
    if username.strip() and password.strip():
        p = tools.my_md5(password)
        sql = 'select * from app_myuser where username="%s" and password="%s";' % (username,p)
        if tools.execute_sql(sql):
            return {'code': 0, 'msg': '登录成功！'}
        else:
            return {'code':-1, 'msg':'输入的账号/密码不存在！'}
    else:
        return {'code':-1, 'msg':'必填参数不能为空!'}

4、flask：开发接口

（1）安装flask模块：

pip install flask

（2）用flask定义一个登录接口：

# flask 是一个轻量级web开发框架
import flask

import tools

# 因为flask返回的是一个字符串，故需要导入JSON模块
import json
server = flask.Flask(__name__)


@server.route('/login',methods=['post','get'])
def login():
    username = flask.request.values.get('username')
    password = flask.request.values.get('password')

    # flask.json.get('xxxx')           # 如果入参是json类型的话，使用这样的方式
    # flask.request.cookies.get('xxx') # 获取cookie里面的数据
    # flask.request.headers.get('xx')
    # flask.request.files.get("xxx")   # 文件

    if username.strip() and password.strip():
        p = tools.my_md5(password)
        query_sql = 'select * from app_myuser where username= "%s" and passwd="%s";' % (username, p)
        print(query_sql)
        if tools.execute_sql(query_sql):
            return json.dumps({'code': '0', 'msg': '登录成功'},ensure_ascii=False)
        else:
            return json.dumps({'code': '-1', 'msg': '输入的用户名/密码错误'})
    else:
        return json.dumps({'code': '-1', 'msg': '不能为空'})

server.run(host='0.0.0.0',port=8999,debug=True)

（3）定义一个注册接口：

import flask

import tools

# 因为flask返回的是一个字符串，故需要导入JSON模块
import json
server = flask.Flask(__name__)

@server.route('/reg',methods=['post','get'])
def reg():
    username = flask.request.values.get('username')
    password = flask.request.values.get('password')
    cpassword = flask.request.values.get('cpassword')
    if username.strip() and password.strip() and cpassword.strip():
        if password.strip() != cpassword.strip():
            return json.dumps({'code': -1, 'msg': '两次输入的密码不一样'})
        else:
            sql='select * from app_myuser where username="%s";'%username
            if tools.execute_sql(sql):
                return json.dumps({'code':-1,'msg':'用户已经存在'})
            else:
                p = tools.my_md5(password)
                insert_sql = 'insert into app_myuser (username,passwd) value ("%s","%s");'%(username,p)
                tools.execute_sql(insert_sql)
                return json.dumps({'code':0,'msg':'注册成功！'},ensure_ascii=False)

    else:
        return json.dumps({'code':-1,'msg':'必填参数不能为空'})


server.run(host='0.0.0.0',port=8999,debug=True)

（四）网络请求：做接口自动化

1、Python自带的模块发送网络请求：urllib

（1）安装urllib模块

import urllib

（2）urllib模块：get请求

from urllib import request
import json

url = 'http://127.0.0.1:8999/login?username=Bob&password=123456'

# get请求
req = request.urlopen(url)

dic = json.loads(req.read().decode())

print(dic)

（3）urllib模块：post请求

# post请求
from urllib import request
from urllib.parse import urlencodeimport json

url = 'http://127.0.0.1:8999/login'
data ={'username':'Ann01','password':'123456'}
req = request.urlopen(url,urlencode(data).encode())
dic = json.loads(req.read().decode())
print(dic)

2、requests模块

（1）接口测试的请求方式：get、post、传cookie、传文件、传json、传headers

（2）安装requests模块

pip install requests

（3）使用requests查看请求

import requests
import json

url = 'http://127.0.0.1:8999/login'
data ={'username':'Ann01','password':'123456'}

r = requests.get(url,data)

# 字典类型
print(r.json)

# 字符串格式
print(r.text)

# bytes类型的
print(r.content)

#返回的状态码:200、404、500、502
print(r.status_code)

（4）get请求方式（根据使用情况选择不同的方法）：

# 字典格式，为了获取某个字段的值：d.get('XXX')
r.json

# 字符串格式：接口返回结果不处理，直接存入库里或者json文件里面
r.text

# bytes类型，例如下载一个图片
r.content

#返回的状态码
r.status_code

（5）post请求方式：

r = requests.post(url,data)

print(r.json())

print(r.text)

print(r.content)

print(r.status_code)

（6）post请求url中，有时会遇到url带有参数，这时候需要：

r = requests.post(url,data,params={"version":1.0)
# params是把参数传到url后头的

（7）传cookie：

# url=http://www.nnzhp.cn/
# cookie:PHPSESSID=8a97d6ac860319bf067a674b8b5a8e34

cookie = {'PHPSESSID':'8a97d6ac860319bf067a674b8b5a8e34'}
r = requests.post(url,data=data,params={"version":1.0},cookies=cookie)

（8）传headers：

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36','cookie':'PHPSESSID':'8a97d6ac860319bf067a674b8b5a8e34'}
r = requests.post(url,data=data,params={"version":1.0},headers=headers)

（9）传json和传文件

# 传json

r = requests.post(url,json=data)
print(r.json())

# 传文件

url = 'http://api.nnzhp.cn/api/file/file_upload'
data = {'file':open('XXX.xls','rb')} 
r = requests.post(url,files=data)

（10）下载文件

#下载文件

r = requests.get('https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=3086278442,1750390944&fm=26&gp=0.jpg')

f = open('dog.jpg','wb')
print(r.content)
f.close()

注：有时会遇到https的报错，这时需要：

r = requests.get('https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=3086278442,1750390944&fm=26&gp=0.jpg',verify=False)

四、Python-Redis、加密和解密、mock接口开发、网络请求

推荐阅读