apache-beam - 在 Apache Beam 中结合 vs ParDo

Question

我可以知道 Apache Beam 中 ParDo 和 Combine 转换之间的确切区别吗？

我可以将 ParDo 视为 map/shuffle/reduce 中的 Map 阶段，而将 Combine 视为 reduce 阶段吗？

谢谢！

标签： apache-beam

Answer 1

据我了解 Apache Beam，没有明确的 Map 和 Reduce 阶段。

您可以连续应用多个元素映射函数，其中ParDo是可用于自己实现的最通用的类​​。

术语 reduce 已被聚合取代，相应的类是Combine.