mysql - MySQL - 备份 90 天以上数据的最佳方式

Question

我们有一个大的 MySQL 数据库（~400 GB）。

目前，我们有两年多前的历史数据。

目前，我们计划在我们的主数据库中仅保留最近 90 天的数据，并定期将旧数据移出。

目前，我们正在考虑将数据转移到 Google Big Query，因为它是一种更便宜的选择。

如果客户请求一些旧数据（不是常见情况），我们计划提供来自 Big Query 的数据。

我想知道是否有更好的方法/技术来做到这一点？

标签： mysqldatabasegoogle-bigquerydatabase-backups

Answer 1

您的数据量并不大。BigQuery 支持高达 PB 的规模。还支持导入最大 5 TB 的文件。

我们已经实现了您的用例。我们会定期将 MySql 数据库备份到 BigQuery。

1. mysql 控制台，SELECT INTO FILE 语法以生成 csv 或 tsv。您可能需要替换无效字符。
2. 上传到谷歌云
3. 从 GCS 向 BigQuery 发出 BQ 导入命令（您可以使用预定义架构或自动架构）

在时间上，第一步和第二步耗时最长，大约 20 分钟。在 BigQuery 中导入需要 30 秒到 1 分钟。