google-bigquery - Google BigQuery 在小数据集上真的很慢

Question

我正在测试 Google BigQuery 以替换我们过去使用的传统数据库（PostgreSQL / MySQL），但发现性能非常（而且奇怪）缓慢。

上传了一个约 6mb 的数据集（约 44,000 行）进行测试。

尝试运行一些简单的查询：

SELECT Sub_Category, COUNT(*) AS COUNT FROM rnd-projects-247203.test.data GROUP BY Sub_Category

有人可以帮我解释一下为什么对一个小数据集进行如此简单的查询需要超过 20 秒才能运行吗？我在设置中做错了什么/需要做一些不同的事情吗？

执行细节截图

谢谢！

补充：S00下展开的执行细节

数据从 Google Drive .csv 文件中获取和加载

执行细节截图 - 展开

标签： google-bigquery

Answer 1

BigQuery 是 PB 级数据仓库。它是对传统数据库的最佳补充。不应考虑使用它来代替 MySql/Postgres。

BigQuery 对于大规模查询非常快，例如 3-10 秒的 TB/PB 规模。对于小型查询，运行时间也在 1-2 秒左右。无论如何，不​​像事务数据库那样需要 20 毫秒。