首页 > 解决方案 > 是否可以将 debezium/kafka 配置为从单个主题中的多个表接收消息?

问题描述

我们依赖于一个我们无法控制的外部数据库。出于我们的目的,我们维护了该数据库的每日副本,该数据库在我们的产品中使用并且我们可以配置和扩展以满足我们的需求。

我们目前正在尝试使用 Debezium 和 Kafka 来获取实时更新。但是,我们对源数据库中最大和最频繁更新的表之一的使用取决于连接表。由于数据的大小,该连接效率低下。

理想情况下,我们希望将这两个源表中的数据合并到一个表中以供生产使用。我们可以尝试在流程结束时使用某种映射器来做到这一点,但这会从两个相关主题中获取消息,并且 upsert 的效率和数据的顺序都会出现问题被插入。

如果我们可以在 Debezium 或 Kafka 中配置它会更好,这样两个表都可以输入到同一个主题中,然后可以通过单个映射器将其输入到单个源表中。从我目前在文档中阅读的内容来看,我怀疑这是不可能的。但是,如果有人可以澄清这一点和/或在可能的情况下解释如何去做,那将会很有用?

标签: apache-kafkaconfluent-platformdebezium

解决方案


推荐阅读