时间戳

首页 > 解决方案 > 谷歌云数据流卡住了

google-cloud-dataflow - 谷歌云数据流卡住了

问题描述

最近，我在运行用 Python 编写的数据流作业时遇到了这个错误。问题是它曾经可以工作并且没有代码更改，所以我认为它与环境有关。

同步 pod d557f64660a131e09d2acb9478fad42f ("") 时出错，跳过：无法使用 CrashLoopBackOff 为“python”“StartContainer”：“Back-off 20s restarting failed container=python pod=dataflow-)

谁能帮我这个？

标签： google-cloud-dataflow

解决方案

就我而言，我使用 Apache Beam SDK 2.9.0 版时遇到了同样的问题。

我使用setup.py并通过加载文件内容动态填充设置字段“<strong>install_requires” requirements.txt。DirectRunner如果您正在使用但DataflowRunner对本地文件的依赖关系过于敏感，那也没关系，因此放弃该技术并将依赖关系硬编码requirements.txt到“install_requires”中为我解决了一个问题。

如果您坚持这一点，请尝试调查您的依赖关系并尽可能减少它们。请参阅管理 Python 管道依赖项文档主题以获取帮助。避免在本地文件系统上使用复杂或嵌套的代码结构或依赖项。

推荐阅读