google-bigquery - 为什么 BigQuery 有自己的存储空间？

BigQuery (BQ) 拥有自己的存储系统，与 Google Cloud Store (GCS) 完全分离。

我的问题是：为什么 BQ 不像 Hadoop Hive 那样直接处理存储在 GCS 上的数据？这种设计的好处和必要性是什么？

标签： google-bigquery

BigQuery 通过拥有自己的独立存储获得了多项好处。

一方面，BigQuery 能够通过在存储数据的磁盘上移动和重新排序数据以及添加更多磁盘并随着数据库变得越来越大而重复该过程来不断优化其数据的存储。

BigQuery 还利用单独的计算层来查询存储层，从而允许存储层扩展，同时运行查询所需的整体硬件更少。这使 BigQuery 能够根据需要调用更多处理能力，但在未执行来自特定数据库的查询时没有空闲硬件。

有关 BigQueries 结构和优化的更深入解释，您可以查看我为 The Data School 撰写的这篇文章。