apache-kafka - kafka 连接 jdbc 源设置未从 db 读取数据,因此 kafka 主题中没有数据
问题描述
我们将 kafka connect jdbc 配置为从 db2 读取数据并发布到 kafka 主题,并且我们使用时间戳类型的列之一作为 timestamp.column.name ,但我看到 kafka connect 没有将任何数据发布到 kafka 主题,甚至他们的在 kafka 连接设置完成后没有新数据出现,它们在 DB2 中是巨大的数据,所以至少它应该发布到 kaka 主题,但这也没有发生,在我的连接器源配置下面
{
"name": "next-error-msg",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"tasks.max": "1",
"connection.url": "DB_DATA_SOURCE_URL",
"connection.user": "DB_DATA_SOURCE_USERNAME",
"connection.password": "DB_DATA_SOURCE_PASSWORD",
"schema.pattern": "DB_DATA_SCHEMA_PATTERN",
"mode": "timestamp",
"query": "SELECT SEQ_I AS error_id, SEND_I AS scac , to_char(CREATE_TS,'YYYY-MM-DD-HH24.MI.SS.FF6') AS create_timestamp, CREATE_TS, MSG_T AS error_message FROM DB_ERROR_MEG",
"timestamp.column.name": "CREATE_TS",
"validate.non.null": false,
"topic.prefix": "DB_ERROR_MSG_TOPIC_NAME"
}
}
我的疑问是为什么它不读取数据,它应该读取数据库中已经存在的现有数据,但这没有发生,我需要配置或添加额外的东西吗?
解决方案
推荐阅读
- symfony - 如何查看树枝中的所有项目?
- mysql - 尝试将转储文件还原到 mysql docker 映像时出错
- c# - SQL 超时故障排除
- python-3.x - 如何修复蜗牛的代码以在更短的时间内逃离井
- python - 从 django 应用程序的页面链接获取图像
- python - 删除字符串末尾的字符
- python-3.x - 我的 python 递归代码有什么问题?
- java - Spring boot 和 Reactjs 之间的事件处理
- gitlab - 由计划触发的 GitLab 手动作业
- c# - 局部视图。使用 Oracle 的 ASP 中的错误:ORA-00933 SQL 命令未正确结束