首页 > 解决方案 > apache beam 如何访问 bigtable 数据?

问题描述

如果BigtableIO.Read在数据流中运行,数据是通过 bigtable 节点访问还是直接进入 bigtable tablet?

Bigtable 架构具有:

客户端请求在发送到 Cloud Bigtable节点之前先经过前端服务器

然后继续说:

Cloud Bigtable 表被分割成连续的行块,称为tablet以帮助平衡查询的工作量......平板电脑以 SSTable 格式存储在 Google 的文件系统 Colossus 上

(问题是如果有一个数据流作业在用户发出肯定通过节点的个人请求的同时运行,那么数据流作业是否会有少量或大量的争用。我猜如果数据流作业通过节点进行,与直接打到平板电脑相比,竞争会明显更多。)

标签: google-cloud-dataflowapache-beamgoogle-cloud-bigtable

解决方案


Beam BigTable 连接器使用 Cloud BigTable 的公共 API,因此请求将通过 BigTable 前端服务器节点。

有关Beam 连接器的 BigTable 客户端 API 使用的更多详细信息,请参见此处。


推荐阅读