apache-kafka - 汇流槽连接器 - 多少就是太多

Question

1. 我想使用 Confluent sink 连接器来更新远程服务器上的 Postgres 数据库。平均每天我们可能有 1000-2000 条消息（更新）。创建数百个接收器连接器以将这些消息复制到所有远程服务器是否“合法”？有这么多接收器连接器是正常的吗？

2. 是否可以告诉接收器连接器“传播”他们的工作，以便不是所有 100 个连接器都会同时将更改推送到远程服务器？应该为此使用“timestamp.delay.interval.ms”吗？

谢谢

标签： apache-kafkaapache-kafka-connectconfluent-platform

Answer 1

1. 理论上，每个目标服务器可以有一个连接器。一个连接器可以将来自多个主题的数据流式传输到单个服务器。如果配置因主题而异（例如不同的主键列名称、不同的insert.mode要求等），您可能会发现自己增加了连接器的数量——这是完全有效的（“合法”）

2. 每个连接器都会产生一个或多个任务来执行工作。如果一个连接器正在为多个目标对象流式传输数据，如果您愿意，它可以并行处理并发任务。如果您想以串行方式流式传输数据，以便只有一个与数据库的连接，请进行相应设置tasks.max。

要了解有关连接器/任务执行模型的更多信息，请参阅文档和教程视频。