apache-kafka - 是否可以将 debezium/kafka 配置为从单个主题中的多个表接收消息?
问题描述
我们依赖于一个我们无法控制的外部数据库。出于我们的目的,我们维护了该数据库的每日副本,该数据库在我们的产品中使用并且我们可以配置和扩展以满足我们的需求。
我们目前正在尝试使用 Debezium 和 Kafka 来获取实时更新。但是,我们对源数据库中最大和最频繁更新的表之一的使用取决于连接表。由于数据的大小,该连接效率低下。
理想情况下,我们希望将这两个源表中的数据合并到一个表中以供生产使用。我们可以尝试在流程结束时使用某种映射器来做到这一点,但这会从两个相关主题中获取消息,并且 upsert 的效率和数据的顺序都会出现问题被插入。
如果我们可以在 Debezium 或 Kafka 中配置它会更好,这样两个表都可以输入到同一个主题中,然后可以通过单个映射器将其输入到单个源表中。从我目前在文档中阅读的内容来看,我怀疑这是不可能的。但是,如果有人可以澄清这一点和/或在可能的情况下解释如何去做,那将会很有用?
解决方案
推荐阅读
- azure - 无法解析列选择器规则 - azure ML 设计器
- reactjs - 构建生产 React 项目时,Webpack 默认会摇树吗?
- neo4j - Levenshtein(编辑距离)算法在本机图形数据库中的执行速度是否比 O(n*m) 快?
- python - 编码 Newb:Python:从递归函数返回值的问题
- angular - angular v8 - 如何在开发模式下也获得生产构建模板错误
- reactjs - 传播参数
到 T 上没有 Typescript 抱怨 - git - 在特定行号以下的文件中进行阶段更改
- google-data-studio - Google DataStudio 如何从两个过滤的记分卡制作饼图?
- ffmpeg - 在 FFMPEG 中裁剪和转换时创建缩略图文件
- haskell - 无法将类型“PersistEntityBackend U”与“SqlBackend”匹配