时间戳

首页 > 解决方案 > Google Dataflow - 如果写入本地服务器，如何在 java 中指定 TextIO？

google-cloud-dataflow - Google Dataflow - 如果写入本地服务器，如何在 java 中指定 TextIO？

问题描述

Google Dataflow - 如果从 Dataflow 写入本地服务器，如何指定 TextIO？（前提是 On-prem 服务器通过 Cloud VPN 连接到 GCP）

pipeline.apply("Writer",TextIO.write().to("XXX.XXX.XXX.XXX://tmp/somedirectory/somefilename");

在运行 Dataflow 作业时，是否像上面那样提供本地 IP 和目录？我尝试了，并且在步骤摘要中添加了元素，作业成功完成，但我没有看到本地服务器中写入的任何文件。[不确定它是否与本地服务器的身份验证有关]

标签： google-cloud-dataflowapache-beamdataflowapache-beam-io

解决方案

Apache beam textio 需要使用模式前缀指定文件系统，例如 file:// gs:// hdfs:// 。没有任何这些我相信它默认为本地文件。

https://cloud.google.com/blog/products/data-analytics/review-of-input-streaming-connectors-for-apache-beam-and-apache-spark

因此，鉴于您指定的“文件名”没有架构，我怀疑它会被写入工作人员的本地磁盘，这不是很有用！

因此，正如@ajp 建议的那样，您需要写入例如 GCS，然后让您的本地服务器从 GCS 读取。- 您或许可以使用 pub/sub 消息作为结果准备就绪的信号通知本地服务器

推荐阅读