google-cloud-dataflow - Apache Beam 中的复杂转换

Question

我正在检查我们是否可以将 apache beam 用于我们的数据管道。例如，我们需要进行以下复杂的转换和数据汇总。现在我们在 pandas python 中做：

dd_merged_f['group_id'] = dd_merged_f.assign(key=dd_merged_f['record_type'].eq('START').astype(int)).groupby(merge_cols)['key'].cumsum() 

只是想知道我们是否可以使用 PTransform 来编写这种代码？我们也应该做一些连接。

标签： google-cloud-dataflowapache-beam