首页 > 技术文章 > 项目基础 pip换源 虚拟环境介绍和搭建 luffy后台配置 配置日志 处理全局异常

jgx0 2022-04-19 10:37 原文

今日内容概要

  • 项目基础
  • pip换源
  • 虚拟环境介绍和搭建
  • luffy后台配置
  • 配置日志
  • 处理全局异常

内容详细

1、项目基础

1.1 企业中项目类型

1 商城类的---》某某团

2 门户网站[企业站和门户站
	新加坡--》游戏的展示页面
	展示页面
       
3 社交网络
	app后端
       
4 咨询论坛
	技术类---》卖课,卖资料
       
5 内部系统---》python做这种多
	办公管理,人事管理,进销存,客户关系管理(crm)
	自动化运维项目
	自动化测试项目
       
6 个人博客
       
7 内容收费网站

1.2 企业项目开发流程

# 公司项目来源
	公司需要用
	给客户定制
	互联网项目
  
# 立项
	需求分析(产品经理,技术人员)---》产品原型--->前端后端
    
# 前端:根据原型图:ui+前端---》ui切图---》前端实现---》mock数据(自己造的假数据)

# 后端:确立项目架构,技术选型----》需求说明书+原型图---》开发接口,自己测试--》接口文档

# 前后端代码整合---》前后端联调---》集成测试(测试部,质量控制部)
# 上线

# 你们的工作流程:在公司项目管理平台(禅道)---》看自己任务----》确定需求(测试,问领导,问同事)---》写代码--》提交到git仓库---》管理平台把需求设置成完成


# 软件开发模式
	瀑布模式:早期被广泛采用的软件开发模型---》bbs项目
	敏捷开发:不停的开发--》测试---》上线转圈
	scrum---》Sprint周期(小功能从开发到完成的时间)---》1周
	不做整体数据库的设计---》写到哪个版块,再去设计相关表

# 路飞项目需求
	首页轮播图
	登陆注册
	多方式登陆,手机号登陆
	手机号注册
	课程列表
	过滤,排序
	课程详情
	视频播放,课程介绍
	下单--》支付
	支付宝支付
	回调修改订单
	上线

image

img

2、pip换源

# pip install  pypi源下载源码,在国外,比较慢---》镜像(pypi在国内备份)--->豆瓣,清华,阿里

# pip install -i 源地址  模块名  临时生效

# 想以后只要 pip install django---》直接从国内下载

# 配置永久生效
# win平台:
	1、文件管理器文件路径地址栏敲:
		%APPDATA% 回车,快速进入到指定用户目录下:C:\Users\电脑用户\AppData\Roaming 文件夹中(也可能为:C:\Users\Administrator\AppData\Roaming或其他类似的)
        
	2、新建 pip 文件夹并在文件夹中新建 pip.ini 配置文件
    
	3、新增 pip.ini 配置文件内容:以豆瓣源为例:
		[global]
		index-url = http://pypi.douban.com/simple
		[install]
		use-mirrors =true
		mirrors =http://pypi.douban.com/simple/
		trusted-host =pypi.douban.com

# MacOS、Linux
	1、在用户根目录下 ~ 下创建 .pip 隐藏文件夹,如果已经有了可以跳过
		mkdir ~/.pip
        
	2、进入 .pip 隐藏文件夹并创建 pip.conf 配置文件
		cd ~/.pip && touch pip.conf
        
	3、启动 Finder(访达) 按 cmd+shift+g 来的进入(此步也可能不需要)
		输入 ~/.pip 回车进入
        
	4、新增 pip.conf 配置文件内容
		[global]
		index-url = http://pypi.douban.com/simple
		[install]
		use-mirrors =true
		mirrors =http://pypi.douban.com/simple/
		trusted-host =pypi.douban.com



# pycharm中换源,只针对于在pycharm中用
	File | Settings | Project: xxx | Python Interpreter
		+
			Manage Repositories
				搜索源地址添加
  
# pycharm中的terminal不是和cmd一样

# pypi Python官方模块站点,我们个人也可以传模块
	注册账号
	写一个模块
	setup.py
	上传

3、虚拟环境介绍和搭建

3.1 pycharm设置虚拟环境

# 为什么会出现虚拟环境?
	假设有个项目django 1.11.8
	又有个项目django 2.2.2
	由于在系统的解释器上只能装一个django,导致同时只能跑一个项目
	每个项目使用自己的一个解释器---》虚拟环境--》通过系统解释器创造出一个解释器环境,他俩相互不干扰
    
	系统有解释器,
		第一个项目有个虚拟环境 django1.11.8 
		第二个项目有个虚拟环境 django 2.2.2
	以后变成,一个项目一个解释器
    
    
# 其他语言相关方案
	vue 项目路径下--》node moduls---》这个项目依赖的环境--》删除---》npm install
  -go:go mod解决多版本共存问题
  -java:maven解决多版本jar包问题
  -python:虚拟环境
  
# python中虚拟环境解决方案有好几个(virtualenv,pipenv。。。。)

# 如果不使用virtualenv,可以直接在pycharm中做

image

3.2 命令方式操作虚拟环境

3.2.1 win安装

# centos没有图形化界面的话--->没法装pycharm---》没法点点点创建,只能使用命令

## 第一步:安装
	pip3 install virtualenv  # 虚拟环境模块--》创建虚拟环境麻烦
	pip3 install virtualenvwrapper-win  # 虚拟环境辅助模块---》更快捷方便的操作和管理虚拟环境
    
	安装完,在 python/scripts文件夹下就会有 virtualenv.exe和virtualenvwrapper.bat 批处理文件
    
	因为script文件夹又在环境变量里--》这俩安装命令可以在任意路径下执行

## 第二步:配置环境
	新建环境变量:填入变量名与值
	变量名:WORKON_HOME  
	变量值:自定义存放虚拟环境的绝对路径
	eg: WORKON_HOME: E:\Django

# 同步配置信息(可忽略):
	去Python3的安装目录 => Scripts文件夹 => virtualenvwrapper.bat => 双击

image

image

3.2.2 Mac linux安装

## 第一步安装
	pip3 install -i https://pypi.douban.com/simple virtualenv
	pip3 install -i https://pypi.douban.com/simple virtualenvwrapper
        
## 第二步:找到virtualenvwrapper
	先找到virtualenvwrapper的工作文件 virtualenvwrapper.sh,该文件可以刷新自定义配置,但需要找到它
    
	MacOS可能存在的位置 /Library/Frameworks/Python.framework/Versions/版本号文件夹/bin
    
	Linux可能所在的位置 /usr/local/bin  |  ~/.local/bin  |  /usr/bin
    
	建议不管virtualenvwrapper.sh在哪个目录,保证在 /usr/local/bin 目录下有一份
	如果不在 /usr/local/bin 目录,如在 ~/.local/bin 目录,则复制一份到 /usr/local/bin 目录
    
	-- sudo cp -rf ~/.local/bin/virtualenvwrapper.sh /usr/local/bin

### 第三步:配置环境变量
	在 ~/.bash_profile 完成配置,virtualenvwrapper的默认默认存放虚拟环境路径是 ~/.virtualenvs
	WORKON_HOME=自定义存放虚拟环境的绝对路径,需要自定义就解注
		VIRTUALENVWRAPPER_PYTHON=/usr/local/bin/python3
source /usr/local/bin/virtualenvwrapper.sh

# 在终端让配置生效:
	ource ~/.bash_profile

3.3 虚拟环境命令

# win安装/Mac linux安装 完成后

# 1、创建虚拟环境到配置的WORKON_HOME路径下
	选取默认Python环境创建虚拟环境:
		mkvirtualenv 虚拟环境名称

	基于某Python环境创建虚拟环境,并进入到虚拟环境:
		mkvirtualenv -p python2.7 虚拟环境名称
		mkvirtualenv -p python3.6 虚拟环境名称

# 2、查看已有的虚拟环境
	workon

# 3、使用某个虚拟环境
	workon 虚拟环境名称
	
# 4、进入|退出 该虚拟环境的Python环境
	python | exit()

# 5、为虚拟环境安装模块
	pip或pip3 install 模块名

# 6、退出当前虚拟环境
	deactivate

# 7、删除虚拟环境(删除当前虚拟环境要先退出)
	rmvirtualenv 虚拟环境名称

3.4 补充环境变量

# 补充:
	环境变量:在命令行下敲某个命令,为什么能执行?---》要么这个命令就在当前路径下,要么在环境变量的path路径下, 如果能找到就执行,找不到就报错
    
	环境变量有两种:
		用户环境变量--》当前用户有效
		系统环境变量--》所有人都有效
        
	cmd敲python---》确认好,python到底是python2,还是python3,还是你的虚拟环境的python3
    
	环境变量的上下顺序
    
	pip 和python 成对的,装的模块,给python解释器用的
  	pip3 install django
	python3.6---》pip3   python3.10---》pip3 
	更有甚者:创建了虚拟环境---》虚拟环境有pip---》把虚拟环境的pip加入到了环境变量
    
	通过起别名方式来多版本共存
		python3.6  python3.10
		pip3.6     pip3.10

4、luffy项目后台创建

# 第一步:
	先从cmd窗口创建虚拟环境
		mkvirtualenv luffy_api
	查看已安装模块包 pip list
	提前下载指定版本django: pip install django==2.2.2
        
# 第二步:
	使用pycharm创建后台路飞项目
	按图所示选虚拟环境解释器创建
	配置drf模块:djangorestframework

image

image

image

4.1 项目目录调整

# 创建apps文件夹:今后存放所有的app

# 创建setting文件夹:存放配置文件
	更改配置文件名称:dev.py(开发阶段专用)
	复制一份配置文件:pro.py(上线阶段专用)

# 更改项目启动配置文件路径:
def main():
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.setting.dev')
    
# 控制台:python manage.py runserver  或者点绿色箭头就可以启动项目了

# 调整app的路径,以后把所有app都放到luffy_api下的apps文件夹---》整洁
	切换到apps路径下:cd luffy_api/apps
	执行创建app的命令:
		python ../../manage.py startapp user
        
# 在dev.py中注册app,运行报错,报错原因是找不到user这模块
	原来直接写app名字不报错--》原因是app就在项目根路径下(模块的查找)--》由于项目的根路径在环境变量中,app就在根路径下,它能直接找到
	现在的问题是apps路径不在环境变量中,它就找不到
	把apps的路径加入到环境变量中--》要在项目的启动时加--》启动入口是配置文件
    
	到配置文件中:写入 
import sys
# 把apps的路径加入到环境变量了
	sys.path.append(os.path.join(BASE_DIR, 'apps'))
	以后在 INSTALLED_APPS中只需要写app的名字注册即可
    
# 新建 logs文件夹,luffy_api/lib文件夹,luffy_api/utils文件夹,script文件夹
    

# 测试阶段运行没问题,项目上线,使用uwsgi上线---》运行wsgi.py-->修改如下
	os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.setting.pro')

# 国际化
LANGUAGE_CODE = 'zh-hans'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False

# 把 小luffy_api也就是BASE_DIR 也加入到环境变量
	sys.path.append(BASE_DIR)
	导入模块的时候,只要从环境变量的路径开始导就可以了,从小luffy_api路径开始导入即可
	虽然pycharm报红,但是没有错,点右键,把该路径(在环境变量中的),做成source root即可
	以后再从这个路径下导包,不会报错了
    
### 注意:以后导入包
	尽量用最短路径导入,如果从长路径导入--》路径经过的py文件都会去执行--》可能会导致循环导入的问题
	个人推荐用相对导入
	# from apps.user import models
	from . import models  推荐用这个
  
	py文件中有相对导入,这个py文件不能作为脚本运行
	django项目中,由于没有右键运行的脚本,所以都可以用相对导入
    
    
    
### 项目目录结构
"""
├── luffy_api
	├── logs/  # 项目运行时/开发时日志目录 - 包
	├── luffy_api/  # 项目主应用,开发时的代码保存 - 包
		├── apps/  # 开发者的代码保存目录,以模块[子应用]为目录保存 - 包
		├── libs/  # 第三方类库的保存目录[第三方组件、模块] - 包
		├── setting/  # 配置目录 - 包
			├── dev.py  # 项目开发时的本地配置
			└── prod.py  # 项目上线时的运行配置
		├── urls.py  # 总路由
		└── utils/  # 多个模块[子应用]的公共函数类库[自己开发的组件]
	├── manage.py  # 脚本文件
	└── scripts/  # 保存项目运营时的脚本文件 - 文件夹
"""

image

image

5、luffy后台配置

5.1 配置日志

# 在配置文件中加入 dev.py:
### 日志相关
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'verbose': {
            'format': '%(levelname)s %(asctime)s %(module)s %(lineno)d %(message)s'
        },
        'simple': {
            'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
        },
    },
    'filters': {
        'require_debug_true': {
            '()': 'django.utils.log.RequireDebugTrue',
        },
    },
    'handlers': {
        'console': {
            # 实际开发建议使用WARNING
            'level': 'DEBUG',
            'filters': ['require_debug_true'],
            'class': 'logging.StreamHandler',
            'formatter': 'simple'
        },
        'file': {
            # 实际开发建议使用ERROR
            'level': 'INFO',
            'class': 'logging.handlers.RotatingFileHandler',
            # 日志位置,日志文件名,日志保存目录必须手动创建,注:这里的文件路径要注意BASE_DIR代表的是小luffyapi
            'filename': os.path.join(os.path.dirname(BASE_DIR), "logs", "luffy.log"),
            # 日志文件的最大值,这里我们设置300M
            'maxBytes': 300 * 1024 * 1024,
            # 日志文件的数量,设置最大日志数量为10
            'backupCount': 10,
            # 日志格式:详细格式
            'formatter': 'verbose',
            # 文件内容编码
            'encoding': 'utf-8'
        },
    },
    # 日志对象
    'loggers': {
        'django': {
            'handlers': ['console', 'file'],
            'propagate': True,  # 是否让日志信息继续冒泡给其他的日志处理系统
        },
    }
}



### 在utils下创建 ,my_logging.py 写入(注意文件名 不要与模块名重复):
import logging
# 创造一个logger对象,使用的是配置文件中的django这个
logger = logging.getLogger('django')


### 以后使用,导入直接用--》打印到控制台和记录到文件中
from utils.my_logging import logger
logger.info("我执行了一下")
"""
如果报错:
	no such table: django_session
	
去到命令窗口执行:
	python manage.py migrate(django1.9以后版本)
"""

5.2 处理全局异常

# 创建:utils/excepiton.py
## 全局异常捕获

from rest_framework.views import exception_handler  # 默认没有配置,出了异常会走它
from rest_framework.response import Response
from utils.my_logging import logger


def common_exception_handler(exc, context):
    res = exception_handler(exc, context)
    if res:
        res = Response(data={'code': 998, 'msg': res.data.get('detail', '服务器异常,请联系系统管理员')})
    else:
        res = Response(data={'code': 999, 'msg': str(exc)})
    request = context.get('request')
    view = context.get('view')
    logger.error('错误原因:%s,错误视图类:%s,请求地址:%s,请求方式:%s' % (str(exc), str(view), request.path, request.method))
    return res



# 配置文件dev.py配置:
REST_FRAMEWORK = {
    'EXCEPTION_HANDLER': 'utils.exception.common_exception_handler'  # 再出异常,会执行这个函数
}

推荐阅读