首页 > 解决方案 > 如何为 mysql percona 集群执行 CDC 并为所有数据库创建主题

问题描述

我正在寻找一种解决方案来从 3 节点 percona mysql 集群中捕获所有数据库更改(创建、删除、更新),并将更新发送到 Kibana 等可视化工具以搜索事件。许多人建议使用 mysql bin log--> Debezium/maxwell-->Apache kafka--> Ekasticsearch(kibana)。我对此设置有以下问题,

  1. 我是否选择了正确的解决方案
  2. 拥有 100 个数据库,每个 db 有 100 个表,如何捕获所有更改?我看到这个主题只能为特定的表和带有 debezium 的特定数据库创建。
  3. 使用 maxwell,我可以获得所有更改输出,但是在停止和启动 maxwell/db 的情况下无法从我们离开的地方恢复。

任何帮助表示赞赏。

标签: elasticsearchapache-kafkadebeziummaxwell

解决方案


推荐阅读