apache-kafka - 更好的方法来监听数百个 Kafka 主题并将数据存储到数据库中

我们正在构建系统以使用名为 Qlik 的产品将数据从 Sybase 迁移到 Oracle，它还提供 CDC

所以这是我的场景

Qlik Tool 将为每个表创建 Kafka 主题并从 sybase DB 发布所有数据

Topic 中的每条消息都有一些元数据，其中一条会告诉我们它的 INSERT/UPDATE/DELETE

另一方面，我们必须构建消费者层以从每个主题中提取数据并更新/同步 Oracle DB 中的相应表

我很想知道构建消费者层的更好方法是什么。非常感谢任何帮助

标签： apache-kafkaapache-kafka-connectconfluent-schema-registry

归根结底，您需要消费者和模式推断来将字段存储在表中。

Kafka Connect JDBC Sink 可以很好地工作和扩展，但“更好”是相对的，具体取决于您的预期结果。