apache-kafka - Kafka Connect 是否提供数据来源？

Question

我是 kafka 连接的新手。我已经使用 nifi 之类的工具有一段时间了。这些工具为审计和其他目的提供数据来源，以了解数据发生了什么。但我找不到任何与 kafka connect 类似的功能。kafka connect 是否存在该功能？或者是否有某种方法可以在 kafka connect 中处理数据来源，以便了解数据发生了什么？

标签： apache-kafkaapache-kafka-connect

Answer 1

CDC 工具可能有助于满足您的审计需求，否则您将不得不使用单个消息转换 (SMT) 构建自定义逻辑。例如，使用 Debezium 连接器，您将获得每个更改事件的消息负载：

{
  "payload": {
    "before": null,
    "after": {
      "id": 1,
      "first_name": "7b789a503dc96805dc9f3dabbc97073b",
      "last_name": "8428d131d60d785175954712742994fa",
      "email": "[e-mail]"
    },
    "source": {
      "version": "1.1.0.Final",
      "connector": "postgresql",
      "name": "localhost",
      "ts_ms": 1587303655422,
      "snapshot": "true",
      "db": "cdcdb",
      "schema": "cdc",
      "table": "customers",
      "txId": 2476,
      "lsn": 40512632,
      "xmin": null
    },
    "op": "c",
    "ts_ms": 1587303655424,
    "transaction": null
  }
}