首页 > 解决方案 > GCP 数据流与 pyorc 库存在问题

问题描述

在 GCP 项目上工作,我正在尝试使用 pyorc 库以 ORC 格式保存数据。我注意到数据流管道与 DirectRunner(本地机器)一起工作,但是 DataFlow Runner 不起作用(没有错误,但工作永远不会结束)。经过一番调查,我发现了这个问题,我注意到一旦我在 requirements.txt 文件中有 pyorc==0.3.0 ,那么数据流就不起作用了。正如我提到的,没有错误,但我相信它不能安装 pyorc。下面是我的requirements.txt。

google-cloud-dlp==0.13.0
google-cloud-language==1.3.0
google-cloud-translate==2.0.1
ratelimiter==1.2.0
xmltodict==0.12.0
pyyaml==5.3.1
google-api-python-client==1.12.5
google-cloud-logging==1.15.1
pyorc==0.3.0

标签: pythongoogle-cloud-platformdatafloworc

解决方案


推荐阅读