streaming - 使用 Flink 从 Kafka 聚合数据

我正在尝试编写一个 Flink 应用程序，该应用程序将从 Kafka 读取数据并通过自定义 Hbase 接收器增加 Hbase 中的计数。我正在研究容错，我看到 Flink 将从最新检查点的偏移量重新启动作业。这是否意味着我的 Hbase 接收器会产生重复项？我必须实现自己的重复数据删除逻辑吗？

标签： streamingapache-flink

HBase sink 会产生重复吗？

这取决于您何时将数据插入 HBase。

如何实现 Exactly-Once 语义？

根据您的描述，您需要的是端到端的exactly-once语义，这意味着可以多次处理数据，但插入只能执行一次。看一下 CheckpointListener 接口，在 checkpoint 完成时会执行 notifyCheckpointComplete 方法，这是你将数据提交到 HBase 的好时机。