apache-kafka - 在 Kafka 中合并来自 RDBMS 的多个事件
问题描述
我们正在从 RDBMS 数据库的不同表中捕获变更数据。每个单独的更改都被视为一个事件。所有事件都发布到单个 Kafka 主题中。每个事件(消息)都将表名作为标题。我们需要满足某些用例,我们需要合并多个事件并填充输出。整个事情都是实时发生的。
我们正在使用 Apache Kafka。
解决方案
不确定合并事件的确切含义,但这似乎在 Kafka 流域中。您可以使用流和 ktables 设计每个事件,为此您将应用 Kafka 流拓扑(例如加入事件流并应用一些业务逻辑)
但是您需要更多技术建议吗?
雅尼克
推荐阅读
- node.js - 无法将 firebase 数据库中的数据检索到 heroku 应用程序中
- google-sheets - 如何从字符串中提取文本?
- javascript - Javascript将多维数组转换为索引
- excel - Excel VBA - 在一个单元格中合并具有重复值的行并合并其他单元格中的值
- python - django.db.utils.IntegrityError:唯一约束失败:new__bank_profile.fname_id
- pandas - 如何将熊猫数据框写入 .arrow 文件
- java - java.lang.NullPointerException:无法调用“org.json.JSONObject.getJSONObject(String)”,因为“a1.JsonConfig.configProperties”为空
- php - 将 url 提供为 dir/file/file 时出现 500 内部错误
- javascript - 我如何检查 onclick 道具比 redux 状态更快
- javascript - 当我 res.redirect(`/relative/url`) 时,收到的响应是 PATCH 404 Not found。如何解决这个问题?