首页 > 解决方案 > Kafka 源连接器:timestamp.delay.interval.ms 不添加延迟

问题描述

我正在使用 Kafka 源连接器将记录从 Oracle DB 读取到 topic 。

我的配置如下:


    "connection.password": "*******",
    "tasks.max": 2,
    "connection.user": "*****",
    "connection.url": "************",
    "mode": "timestamp",
   "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "query": "SELECT INSERT_DATE, COL2 FROM TABLE1",
        "key.converter" : "org.apache.kafka.connect.json.JsonConverter",
        "key.converter.schemas.enable" : "false",
        "value.converter": "org.apache.kafka.connect.json.JsonConverter",
        "value.converter.schemas.enable" : "false",
        
        "poll.interval.ms" : "60000",
        "timestamp.column.name": "INSERT_DATE",
        "topic.prefix": "myTopic",
        "max.retries":"0",
        "retry.backoff.ms":"300000",
        "numeric.mapping":"best_fit",
        "transforms": ",InsertField",
        "transforms.InsertField.type": "org.apache.kafka.connect.transforms.InsertField$Value",
        "transforms.InsertField.static.field": "eventKey",
        "transforms.InsertField.static.value": "COL2",
        "timestamp.delay.interval.ms" : "120000"

我想要的是:当记录更新到数据库中时。在 120000 毫秒(2 分钟)之后,我希望 kafka 阅读它并推送到主题。

我的数据库 INSERT_DATE 是 UTC-5 格式(美国东部时间)我试过 db.timeZone:US/Eastern/UTC-5 - 没用

你能告诉我我在这里缺少什么吗?

数据库是甲骨文

编辑:我的问题是:Kafka 连接源连接器没有增加延迟。当插入或更新数据库记录时,kafka 正在读取记录并推送到主题。我希望在 2 分钟后读取记录,而不是立即读取。

标签: apache-kafkatimestampapache-kafka-connect

解决方案


推荐阅读