elasticsearch - 如何为 mysql percona 集群执行 CDC 并为所有数据库创建主题
问题描述
我正在寻找一种解决方案来从 3 节点 percona mysql 集群中捕获所有数据库更改(创建、删除、更新),并将更新发送到 Kibana 等可视化工具以搜索事件。许多人建议使用 mysql bin log--> Debezium/maxwell-->Apache kafka--> Ekasticsearch(kibana)。我对此设置有以下问题,
- 我是否选择了正确的解决方案
- 拥有 100 个数据库,每个 db 有 100 个表,如何捕获所有更改?我看到这个主题只能为特定的表和带有 debezium 的特定数据库创建。
- 使用 maxwell,我可以获得所有更改输出,但是在停止和启动 maxwell/db 的情况下无法从我们离开的地方恢复。
任何帮助表示赞赏。
解决方案
推荐阅读
- javascript - 如何解决“参数列表后未捕获的语法错误:缺少)”问题
- sql - 如何将数值表的所有列除以 SQL Server 中的最后一列,除了 ID 列和最后一列作为除数?
- r - replacement has length zero error in R programming of a no claim discount scheme
- azure-devops - 条件 OR 与 Azure Devops Pipeline 中的变量
- javascript - Android App crashes on starting new activity when there is background image
- python - Euler explicit in Fourier space
- javascript - How to receive data attribute with jsoup?
- sql - Generating random numbers in oracle without dbms_rand
- r - getting R to recognize a file full of Word files for koRpus analysis
- android - Sending a SMS in a Progressive Web App Doesn't Always Work on iPhone