python - 在 Apache Beam 2.9 上导入 cloud-spanner 时出错
问题描述
我正在尝试将一些 python apache beam 脚本更新为最新的 2.9 版本的 apache beam。from google.cloud.spanner import Client
运行在谷歌云数据流
运行器上导入的脚本时遇到以下错误(直接运行器工作正常): https ://gist.github.com/pascaldelange/f43cc1f6dc290291804b64b0db1cadfe
我有一个合适的 setup.py 在 2.9 之前工作得很好,特别是
REQUIRED_PACKAGES = [
"Flask==0.12.2",
"apache-beam[gcp]==2.9",
"gunicorn==19.7.1",
"gevent==1.2.1",
"google-api-core==1.7.0",
"google-apitools==0.5.24",
"google-auth==1.6.2",
"google-cloud-bigquery==1.6.1",
"google-cloud-core==0.29.0",
"google-cloud-pubsub==0.35.4",
"google-cloud-spanner==1.7.1",
"google-cloud-storage==1.13.1",
"google-resumable-media==0.3.1",
"googleapis-common-protos==1.5.5",
"googledatastore==7.0.2",
"grpc-google-iam-v1==0.11.4",
"proto-google-cloud-datastore-v1==0.90.4",
"six==1.11",
]
也许相关:在不同的工作(流媒体)中,我有错误日志
No unique name set for transform generatedPtransform-45
和
Missing required coder_id on grpc_port for -3; using deprecated fallback.
尽管它们似乎并没有真正阻止执行
什么可能导致这个错误,特别是只使用谷歌云数据流运行器?提前致谢
解决方案
这个错误:
Missing required coder_id on grpc_port for -3; using deprecated fallback.
在梁 2.9 中引入,并且在 2.10 中仍然存在。
虽然添加此错误的提交记录了“错误”严重性,但它似乎并没有真正破坏任何东西。
以下是有关更多详细信息的梁 jira 问题:
推荐阅读
- java - 我正在尝试对正在处理的图像进行马赛克效果,但图像保持不变?
- javascript - jQuery trigger() stopPropagation() 不工作 - 冒泡发生?
- amazon-web-services - AWS ELB/ALB http/2 通过 http/2(不是 http/1.1)传递给 EC2 实例
- javascript - 从对象获取值并推入数组javascript
- c# - .Net Core OAuth 嵌套声明未映射回用户
- jakarta-ee - 使用调度程序在服务器启动功能上调用方法 EJB 时的空指针
- python - Python - 列表和排序
- java - 为什么android studio中的java文件与classes.dex中提取的java文件不同
- spring - 如何在 Spring 中自动装配 LdapRepository?
- java - 将现有的 Java 代码与 React Native 结合使用