apache-kafka - Kafka Connect - 具有相同 Kafka 集群作为源的连接器?
问题描述
我只找到了对 MirrorMaker v2 的引用。
我可以org.apache.kafka.connect.mirror.MirrorSourceConnector
像使用 Kafka 作为源的“普通”连接器一样重用它,还是有其他东西,希望更简单,可用?
我正在尝试使用 KafkaConnect 和(组合)它的 SMT 来模拟在其他消息代理中发现的消息路由行为。
例如,我想从一个主题中消费,从消息中提取值(标头或有效负载),然后根据消息中找到的数据将消息路由到同一集群中的另一个主题。
谢谢
解决方案
在同一个集群内
这就是 Kafka Streams 或 ksqlDB 的用途。您可以直接通过代码导入和使用 SMT 方法,尽管您还需要使用 Connect Converter 类来获取大多数 SMT 所需的 Schema/Struct 类型
虽然您可以使用 MirrorMaker,但集群间重定位不是它的目的
推荐阅读
- flutter - 如何通过http包上传多张图片到mysql flutter
- swift - Swift 5 中的 QR 扫描仪
- c++ - OpenCV4 BOW + SIFT - 步骤和语法
- python - ImportError:无法从部分初始化的模块“sqlalchemy”导入名称“util”(很可能是由于循环导入)
- docker - 找不到包 buildah
- java - 同步与原子参考
- java - 项目中缺少 Gradle
- python-2.7 - GIMP script-fu,“file-glob”可以只返回具有特定扩展名的文件吗?
- pybind11 - pybind11 def_property 没有在 C++ 中调用设置器
- javascript - JS 映射对象选择嵌套数组键值以使它们成为更高级别的键值