postgresql - 如果Kafka Sink使用独立配置将多个接收器消耗到多个表中是否可用？

Question

我读过Kafka连接源可以从数据库中接收多个主题（一个主题代表一个表）。我有很多表的 PostgreSQL 数据库，并且这次有一个 Kafka 源足够满意。但是，如果我只声明一个 JDBC Kafka 接收器来将所有主题消耗到基于主题的目标表中，例如从 PostgreSQL 到单个 MS SQL Server 数据库的所有表，它是否可用？这是时间成本，例如，如果我有来自一个数据库的 200 个表，并且必须为每个表建立 200 个接收器连接，尽管我只需要声明一次源。

标签： postgresqljdbcapache-kafkaapache-kafka-connect

Answer 1

您可以使用 Debezium 对一个数据库和所有表进行快照，以通过 Kafka 将它们发送并转储到任何其他接收器连接器（包括 MSSQL），是的

您需要运行多少个连接器或您将在目标上创建多少个表最终取决于您自己的配置

并且独立无关紧要，但无论如何都首选分布式模式，即使您只使用一台机器