google-cloud-dataflow - Beam/Dataflow：找不到会话文件：/var/opt/google/dataflow/pickled_main_session

Question

使用 Apache Beam（GCP 数据流）时，我在工作日志中看到以下警告：

未找到会话文件：/var/opt/google/dataflow/pickled_main_session。__main__（交互式会话）中定义的函数可能会失败。

无论如何，我的 Dataflow 工作似乎都很好，但我想知道这个警告是关于什么的。

我在一些示例代码中看到了以下内容（我目前没有这样做）：

pipeline_options.view_as(SetupOptions).save_main_session = True

wherepipeline_options是为 Beam/Dataflow 管道指定选项的主要方式，如下代码中所示：

with beam.Pipeline(options=pipeline_options) as p:
    # actual pipeline code here

我很好奇这两者是否相关。警告的存在是否意味着我应该始终保存主会话？这两件事有关系吗？无关？

标签： google-cloud-dataflowapache-beam

Answer 1

您应该能够安全地忽略此警告。save_main_session如果您的管道不需要，则无需设置。