sql-server - 通过 JDBC 源连接器从 MS SQL 数据库消费时重复记录

Question

我正在使用 JDBC 源连接器从 MS SQL 数据库表中使用。附上连接器配置的图片。

我在使用这些配置时收到重复记录。数据在上午 11 点填充，然后在下午 4 点，然后在晚上 8 点，每天虽然我能够获取所有记录，但是在下午 11 点到 4 点的这段时间里，我得到了重复的记录（直到新批次到达时的下午 4 点) 上午 11 点到达。下午 4 点到 8 点的情况相同。

我正在对列ModifiedOn运行“时间戳模式”查询，其数据类型为datetime和以秒为单位的精度。连接日志中没有收到错误。

我相信错误是由于时间戳（以秒为单位的精度）列而已，因为连接器查询将以毫秒格式轮询。

请为此提出解决方案。我无法在数据库级别更改列。

标签： sql-serverjdbcapache-kafkaapache-kafka-connectconfluent-platform