mongodb - Kafka 连接器到 IBM DB2

Question

我目前在大型机技术部门工作，我们将数据存储在 IBM DB2 中。

我们有一个新的要求，即使用可扩展的流程将数据迁移到新的消息传递平台，包括新的数据库。为此，我们已经确定 Kafka 是 KSQLDB 或 MONGODB 的合适解决方案。

谁能告诉或指导我如何从 Kafka 连接到 IBM DB2 以导入数据并将其放置在 KSQLDB 或 MONGODB 中？

任何帮助深表感谢。

标签： mongodbapache-kafkaksqldb

Answer 1

要将数据从 IBM DB2 导入 Kafka，您需要使用任何连接器，例如用于 DB2 的 Debezium 连接器。

关于连接器的信息可以在下面找到。 https://debezium.io/documentation/reference/connectors/db2.html

连接器配置

您还可以将 JDBC Source Connector 用于相同的功能。以下链接有助于配置。

https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/

从 RDMS 到 Kafka 主题的事件流的简单图表。

将数据放入 Kafka 后，我们需要将该数据传输到 MongoDb。我们需要使用 Mongo Db 连接器将数据从 Kafka 传输到 mongo Db。

https://www.mongodb.com/blog/post/getting-started-with-the-mongodb-connector-for-apache-kafka-and-mongodb-atlas

https://www.confluent.io/hub/mongodb/kafka-connect-mongodb