apache-flink - 当使用保存点取消 flink bucketingsink 作业时，文件保留为 .pending

Question

我们正在使用 BucketingSink 将压缩文件（由“\n”分隔）写入 hdfs。但是，一旦我们手动取消作业，文件的最后一行将被截断。如果我们使用保存点取消作业，一切正常，但文件仍处于 .pending 状态。如何使这些文件完成重命名？非常感谢！

标签： apache-flink

Answer 1

如果 .pending 文件在检查点列表中，您只需重新启动作业，然后 .pending 将重命名为最终名称以提交。如果 .pending 文件不在 checkpointed 列表中，即 .pending 文件可以被丢弃，flink 不会对其做任何事情，忽略它们是个好主意。

尝试阅读这篇博文，然后阅读BucketingSink的源代码，你就会知道为什么以及如何做到这一点。