apache-beam - APACHE BEAM GROUP KEY 数据

Question

我有一个 看起来像这样 的PCollection<KV<KV<String, String>, Long> 每个项目： 我想将所有项目分组为相同的日期，但我不知道该怎么做PCollectionKV{KV{date,name},long}

如果有人有想法？

提前致谢

标签： apache-beam

Answer 1

一旦你获得了 KV<> 格式的 PCollection。您可以在 apache Beam 中使用 GroupBYKey PTransform，它将所有数据放入具有相同键的 Iterable 中。

使用以下代码：

PCollection<KV<> outputElement = inputElemeny.apply(GroupByKey.<KV<>>create());

然后在输出元素上应用 Pardo 以获得您想要的合适结果。