首页 > 解决方案 > kafka 连接 jdbc 源设置未从 db 读取数据,因此 kafka 主题中没有数据

问题描述

我们将 kafka connect jdbc 配置为从 db2 读取数据并发布到 kafka 主题,并且我们使用时间戳类型的列之一作为 timestamp.column.name ,但我看到 kafka connect 没有将任何数据发布到 kafka 主题,甚至他们的在 kafka 连接设置完成后没有新数据出现,它们在 DB2 中是巨大的数据,所以至少它应该发布到 kaka 主题,但这也没有发生,在我的连接器源配置下面

{
    "name": "next-error-msg",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "tasks.max": "1",
        "connection.url": "DB_DATA_SOURCE_URL",
        "connection.user": "DB_DATA_SOURCE_USERNAME",
        "connection.password": "DB_DATA_SOURCE_PASSWORD",
        "schema.pattern": "DB_DATA_SCHEMA_PATTERN",
        "mode": "timestamp",
        "query": "SELECT SEQ_I AS error_id, SEND_I AS scac , to_char(CREATE_TS,'YYYY-MM-DD-HH24.MI.SS.FF6') AS create_timestamp, CREATE_TS, MSG_T AS error_message FROM DB_ERROR_MEG",
        "timestamp.column.name": "CREATE_TS",
        "validate.non.null": false,
        "topic.prefix": "DB_ERROR_MSG_TOPIC_NAME"
    }
}

我的疑问是为什么它不读取数据,它应该读取数据库中已经存在的现有数据,但这没有发生,我需要配置或添加额外的东西吗?

标签: apache-kafkadb2apache-kafka-connect

解决方案


推荐阅读