postgresql - 如何避免特定于表的数据库错误以停止 Kafka Connect JDBCSinkConnector 中的所有数据流？

Question

我们有一个 Kafka -> Kafka Connect -> PostgreSQL 堆栈，它不断地将来自 Kafka 的数十个主题的数据写入 PostgreSQL 中的表。我的同事正在为我们的业务逻辑在 PostgreSQL 上开发触发器、函数和视图。有时我们会收到与开发这些触发器相关的数据库错误，这会将它们返回给 JDBCSinkConnector 任务，这会导致连接器失败并停止所有数据流。因此，如果单个表出现错误，所有表的数据流都会停止。errors.tolerance设置为 all，但那些 DB 错误与数据无关。我产生了多个任务，但是当他们尝试将数据插入出现错误的表时，它们都在 5-10 分钟内一一失败。有没有办法解决这个问题，以便忽略有错误的表，但继续流向其他表？

标签： postgresqlapache-kafkaapache-kafka-connectconfluent-platform