google-cloud-platform - 我们可以同时在同一数据上运行多个谷歌云管道吗？

Question

假设我有一个从存储文件加载数据并将其加载到大查询表中的管道。在此管道完成之前，我可以运行另一个对同一文件和表执行相同操作的管道吗？

我的假设是它应该失败。另外，我们如何能够触发第二个管道？（我在 Eclipse 中运行 Apache Beam 代码；它不允许第二次执行，当一个类正在运行时）我们可以使用 CLI 运行吗？

标签： google-cloud-platformgoogle-bigquerygoogle-cloud-storagegoogle-cloud-dataflow

Answer 1

我不知道你为什么要这样做，但是你可以。除非管道的 id 相同，否则它不会失败。数据流将并行读/写。