mysql - 我应该将 Mysql 或 Firebase 用于大数据吗？

Question

我将第一次用大数据做一个项目。在该项目中，我想每 10 秒从不同客户的电能分析仪中获取数据。因此，对于 10.000 台设备，10 年将有 3150 亿行。如果经营理念比我预期的要好，我可能不得不扩大规模。

我可以使用 Mysql 或 firebase db 来处理这种大数据吗？托管服务怎么样？我是否必须考虑托管服务的一些参数？

标签： mysqlgoogle-cloud-firestorebigdata

Answer 1

一般来说，作为大数据解决方案的数据库，谷歌正在提出Cloud Bigtable。该数据库是为此类项目设计的。如果您需要 SQL，它可以轻松连接到BigQuery引擎。您可以轻松地将其连接到 Apache 生态系统。

如果你想或必须使用 SQL 数据库，谷歌有Spanner，它可以无限扩展。

这两种解决方案都不便宜，但只有那些可以提供足够的扩展可能性并可以处理大量工作负载。

您可以尝试其他解决方案，例如 SQL 实例或 Firestore，甚至是实时数据库（不确定您所说的 Firebase db 是什么意思），但是如果您需要扩大规模，您还有很多工作要做。

研究简短的用例描述 Bigtable 应该是首先要考虑的事情。