jdbc - 多个 JDBC 连接器 一个主题

Question

我需要在不同的数据库（位置也不同）上使用两个完全相同的表来发布相同的主题。Kafka JDBC 连接器没有解释它是如何管理高水位线的，所以想在这种情况下检查什么是最佳实践？1. 我们可以将 2 个单独的 JDBC 连接器发布到单独的主题 2. 我们可以将 2 个单独的 JDBC 连接器发布到同一个主题。

如果我们选择选项 2，如果消息同时到达表中，Kafka JDBC 连接器如何管理？它如何管理不同的数据库时区？

标签： jdbcapache-kafkaapache-kafka-connect

Answer 1

1. 我们可以将 2 个单独的 JDBC 连接器发布到单独的主题吗

是的。

2. 我们可以将 2 个单独的 JDBC 连接器发布到同一主题吗？

是的

如果消息同时到达表中，Kafka JDBC 连接器如何管理？

您将收到关于目标主题的两条消息。如果有任何重复，您的消费者将需要其中的逻辑来处理重复。您可以使用单个消息转换来设置写入主题的消息的键，并将其用作重复数据删除的一部分。