google-cloud-dataflow - apache beam 如何访问 bigtable 数据?
问题描述
如果BigtableIO.Read在数据流中运行,数据是通过 bigtable 节点访问还是直接进入 bigtable tablet?
Bigtable 架构具有:
客户端请求在发送到 Cloud Bigtable节点之前先经过前端服务器
然后继续说:
Cloud Bigtable 表被分割成连续的行块,称为tablet以帮助平衡查询的工作量......平板电脑以 SSTable 格式存储在 Google 的文件系统 Colossus 上
(问题是如果有一个数据流作业在用户发出肯定通过节点的个人请求的同时运行,那么数据流作业是否会有少量或大量的争用。我猜如果数据流作业通过节点进行,与直接打到平板电脑相比,竞争会明显更多。)
解决方案
Beam BigTable 连接器使用 Cloud BigTable 的公共 API,因此请求将通过 BigTable 前端服务器节点。
有关Beam 连接器的 BigTable 客户端 API 使用的更多详细信息,请参见此处。
推荐阅读
- amazon-web-services - Cloudfront:HTTP/2 合规性问题
- java - 如何从 Java 中的 QR 码中解码字节?
- javascript - 隐藏表格的第五行
- fortran - Windows 和 Linux 上 Fortran 中 LOG10 的不同结果
- python - 按 y 值组着色分类散点图
- sql-server - 由于 SQL Server 2012 本机客户端错误,无法在 SQL Server 2016 上安装 SSIS
- ios - 如何在 iOS 中使用 Firestore 检索经过身份验证的用户数据?
- docker - 为什么授予 Docker 容器的 SYS_ADMIN 权限“不好”?
- r - 删除 Plotly 中的条之间的间隙
- loops - 多个循环和/或迭代