google-cloud-dataflow - 数据流：动态工作再平衡与融合

Question

动态工作再平衡将优化分配工作给工人，其中融合将折叠执行图，以便图更小，意味着更少的工人参与。动态工作再平衡如何帮助融合，即使存在融合，工作分配也能以最佳方式发生？例如，如果 fused 工人因为地图步骤中发生的扇出而苦苦挣扎。从逻辑上讲，应该涉及更多的工人，但图表是融合的。在这种情况下，动态工作再平衡还能发挥作用吗？

标签： google-cloud-dataflowapache-beam

Answer 1

即使图形被融合，动态再平衡也应该起作用。动态再平衡意味着 master 要求 worker 拆分他们的工作并将这些工作分配给空闲的 worker。

Fusion 在逻辑上是对流水线图的优化，而动态再平衡是在运行时的优化。你可以认为融合试图减少计算步骤，而动态再平衡试图加速每个步骤的执行，无论该步骤是否足够或可以与其他步骤合并。