apache-flink - Apache Flink - 数据集 api - 侧输出

Question

Flink 是否支持 Dataset(Batch Api) 中的 Side Outputs 功能？如果不是，从文件加载时如何处理有效和无效记录？

标签： apache-flinkflink-batch

Answer 1

你总是可以做这样的事情：

DataSet<EventOrInvalidRecord> goodAndBadTogether = input.map(new CreateObjectIfPossible())
goodAndBadTogether.filter(new KeepOnlyGood())...
goodAndBadTogether.filter(new KeepOnlyBad())...

在某些情况下，另一个合理的选择是继续使用 DataStream API，即使您没有流式源。