首页 > 技术文章 > 数据备份转存

LiuSiyuan 2017-10-13 10:07 原文

公司业务需要做数据库转存备份,整理一下自己的思路:

需求描述:
数百台物联网监测设备分钟数据每日产生10w级别原始数据(6w-12w,使用原始数据计算出小时数据、日数据后基本无用),经过一段时间运行之后数据库数据太多,影响正常操作性能。需要备份转移到备份库中。
备份方案:
1、使用计划任务,每晚凌晨执行
2、保留手动调用接口
3、执行方式,按日期循环,每次查询一日数据到内存中,再删除原库当日数据。在备份库删除当日数据(预防性清空),再插入内存的一日数据。
4、完成。备份速度约80w/小时(存在其他任务并行操作mysql)

推荐阅读