时间戳

首页 > 解决方案 > Kafka mongo db源连接器不起作用

apache-kafka - Kafka mongo db源连接器不起作用

问题描述

嗨，在我的 POC 中，我同时使用接收器和源 mongodb 连接器。
接收器连接器工作正常。但是源连接器不会将数据推送到结果主题中。目标是在集合调用“请求”中推送所有更改（插入和更新）的完整文档。

下面是代码。

curl -X PUT http://localhost:8083/connectors/source-mongodb-request/config -H "Content-Type: application/json" -d '{
      "tasks.max":1,
      "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
      "key.converter":"org.apache.kafka.connect.storage.StringConverter",
      "value.converter":"org.apache.kafka.connect.storage.StringConverter",
      "connection.uri":"mongodb://localhost:27017",
      "pipeline":"[]",
      "database":"proj",
      "publish.full.document.only":"true",
      "collection":"request",
      "topic.prefix": ""
}'

没有消息被推送到 proj.request 主题。一旦我在集合“请求”中插入记录，就会创建主题。

在这方面获得帮助会很棒，因为它是 POC 的成败任务。在融合云上的连接器上一切正常。但它是我需要让它工作的前提设置。

标签： apache-kafkaapache-kafka-connectmongodb-kafka-connector

解决方案

确保您有一个有效的管道 - 属性文件中包含的阶段，例如这个

"管道":" [{"$match":{"type":{"$in"["insert","update","re​​place"]}}}]",

参考：https ://docs.mongodb.com/manual/reference/operator/aggregation-pipeline/

推荐阅读