时间戳

首页 > 解决方案 > Kafka 消息迁移

apache-kafka - Kafka 消息迁移

问题描述

我们目前在 Apache Kafka 0.10.1.1 上运行。我们正在迁移到 Confluent Platform 5.X。新集群完全设置在不同的物理节点集上。

虽然我们已经在努力升级 API，我们的应用程序使用spring-boot，但我们正在尝试弄清楚如何迁移消息？我需要在目标集群中保持相同的消息顺序。

  1. 我可以简单地复制消息吗？
  2. 我是否需要将消息重新发布到目标集群才能成功保留？
  3. 还有什么可以做的？

标签： apache-kafkamessagedata-migrationconfluent-platform

解决方案

Confluent 包含一个名为 Replicator 的工具，虽然它是一项企业功能，但您可以使用 30 天试用期来执行数据迁移。

但本质上，是的，你唯一能做的就是从一个集群消费，然后生产到另一个集群。您可能会在不太理想的网络条件下在目的地获得重复的数据，但这只是使用该平台的权衡。

FWIW，如果可能的话，我建议先将 Confluent 3.x 匹配组件添加到现有集群中。或者甚至只是首先单独对经纪人进行滚动升级。我的观点是，没有什么可以“迁移到 Confluent”，因为 Kafka 并没有发生什么变化，你只会在它周围添加其他进程，比如 Schema Registry 或 Control Center

推荐阅读