时间戳

首页 > 解决方案 > 编写自定义 Kafka 连接单消息转换

apache-kafka - 编写自定义 Kafka 连接单消息转换

问题描述

我已经配置了一个 kafka 连接 Mongodb 接收器，我想通过实现一些自定义逻辑来转换消息。

Kafka 连接是否仅限于内置 SMT（或）是否可以编写自定义 SMT。如果没有，我怎么能做到这一点？通过流？

标签： apache-kafkaapache-kafka-connect

解决方案

Kafka 连接是否仅限于内置 SMT

不它不是。您可以创建自己的并将它们添加到您的插件路径

转换被编译为 JAR，并通过 Connect worker 的属性文件中指定的 plugin.path 提供给 Kafka Connect。安装后，可以在连接器属性中配置转换。

https://www.confluent.io/blog/kafka-connect-single-message-transformation-tutorial-with-examples

示例回购https://github.com/confluentinc/kafka-connect-insert-uuid

或者我自己的https://github.com/OneCricketeer/schema-registry-transfer-smt

推荐阅读