apache-kafka - Kafka Connect 工作人员是机器/服务器还是只是一个 cpu 核心？

Question

在文档中，Kafka Connect 工作人员被描述为进程，因此在我的理解中是 cpu 的核心。

但是在同一个文档中，它们旨在提供自动容错（在它们的分布式模式下），所以在我理解不同的机器时，因为进程级别的容错在 imo 中是没有意义的。

有人可以启发我吗？

标签： apache-kafkaapache-kafka-connect

Answer 1

Kafka Connect 工作程序是一个 JVM 进程。

您可以在配置为集群的分布式模式下运行多个 Kafka Connect 工作人员，如果一个工作人员死亡，则工作（任务）将分布在其余工作人员之间。

通常，您会为每台机器部署一个 Kafka Connect 工作器。在一台机器上以分布式模式运行多个 Kafka Connect 工作人员通常是没有意义的 IMO。

我尚未对其进行测试，但我不相信 Kafka Connect 工作人员与一个 CPU 相关联。

有关更多说明，请参见此处：https ://youtu.be/oNK3lB8Z-ZA?t=1337 （幻灯片：https ://rmoff.dev/bbuzz19-kafka-connect ）