hadoop - NiFi 从 hadoop 到 kafak，只保证一次

Question

NiFi是否有可能从hdfs（或hive）读取数据并将数据行发布到kafka，并保证一次交付？

标签： hadoopapache-kafkaapache-nifi

Answer 1

从 NiFi 发布到 Kafka 是至少一次保证，因为在 Kafka 已经收到消息之后但在 NiFi 收到响应之前可能会发生故障，这可能是由于网络问题，或者可能是 nifi 崩溃并在那个确切位置重新启动片刻。

在任何这些情况下，流文件将在发布 kafka 处理器之前放回原始队列中（即会话从未提交），因此将再次尝试。

由于不同线程可能执行处理器的线程模型，不能保证最初进行发布的同一线程将是进行重试的同一线程，因此无法使用“幂等生产者” “ 概念。