时间戳

首页 > 解决方案 > Kafka mirror maker 2.0：镜像后源 Kafka 传入消息与目标 kafka grafana 中的传入消息匹配

apache-kafka-mirrormaker - Kafka mirror maker 2.0：镜像后源 Kafka 传入消息与目标 kafka grafana 中的传入消息匹配

问题描述

我们已经使用 MirrorMaker 2.5.1 在分布式模式下使用 kafka 连接集群进行了从源 kafka 集群到目标 kafka 集群的 kafka 集群迁移。我们看到源和目标的每秒传入消息速率存在显着差异。我们还分析了在 kafka connect 上，生产者的输出率低于消费者的消费率。您是否怀疑来自 kafka connect worker 的消息丢失？我们已经看到 offsetsync 主题的快照和数据速率非常好。任何帮助都是有价值的。Kafka 连接消费者在此处输入图像描述。kafka connect Producer在此处输入图片描述

源kafka：在此处输入图像描述 目标kafka：在此处输入图像描述

我们注意到镜子制造者的任务和工人没有问题。我们有三个连接工作节点，只有一个连接节点有这个生产者和消费者的区别。由于我们没有日志，因此任何见解都将有助于调查该问题。Kafka MM Source 连接器生产者和消费者仅使用默认配置。

谢谢，斗士

标签： apache-kafka-mirrormaker

解决方案

推荐阅读