apache-kafka - Kafka Connect 和 Kafka Streams 提交间隔之间是否存在关系？

Question

假设我们有一个 Kafka Sink 连接器从一个主题填充数据库TopicA，

还有一个 Kafka Stream App 推送该TopicA主题的更新。

我想知道是否：

• 由 Sink 连接器更新到数据库中的数据，以及

• 执行这些更新的时刻

受 Kafka Streams App 提交间隔的影响，如果是，如何？

标签： apache-kafkaapache-kafka-streamsapache-kafka-connect

Answer 1

• Kafka Stream App（是Kafka生产者和消费者）
• Kafka Sink Connector（只是一个 Kafka 消费者）

Kafka 生产者对 Kafka 消费者的提交间隔绝对没有影响。您只需要注意 Kafka 生产者不会比您的消费者更快，以避免消费者组滞后。对于缓慢的消费者，有可能丢失数据。