python - Apache-Beam 中 BigQuery 操作的处理速度非常慢
问题描述
使用beam.io.WriteToBigQuery和beam.io.BigQuerySource
apache-beam 在不分区的情况下无法处理的非常大的数据集有多大？
他们在官方网站上提到：
如果您使用 Beam SDK for Python，如果您编写了非常大的数据集源，您可能会遇到导入大小配额问题
这真是令人困惑！我在一个 BigQuery 表中有 100,000 行数据，我认为不是very large？
但是在读取数据并将其再次写入 BigQuery 中的其他表时，我面临着非常高的延迟。
解决方案
推荐阅读
- java - 在 websphere 8.5.5.14 中启动我的应用程序时出现异常
- python - 在 python 中制作一个 keras 模型的深拷贝
- ios - 如何禁用地铁捆绑器“自动弹出”
- json - Kafka - 如何将 Rest 服务消息转换为 kafka 主题？
- javascript - 在为下一个成员运行循环之前完成任务
- java - 如何使用 Spring Security 保护我的 Spring Data Rest 端点？
- python - Flask-Login 未经授权的端点重定向到错误的页面
- python - 导入时“未加载父模块，无法执行相对导入”..
- google-app-engine - App Engine 在本地指向错误的项目
- docker - Kubernetes 上的 Traefik 传入连接上的客户端 IP 错误