distributed-computing - 实行独家分工

Question

我对分布式系统内部很陌生，不知道如何解决这个问题

我希望您了解 kafka 消费者，消费者组中的每个消费者都专门处理一个分区。这正是（或某种程度上）我想要实现的

假设我有一组 N 个节点和以下配置概念

[[task-1 X nodes], [task-2 Y nodes] ...] where X <= N, Y <= N

我的系统将有一个 API，任何人都可以更改此配置，并且 N 个节点同样会更新以匹配配置

您认为 RAFT 可以用于此目的吗？或者这太过分了？为什么 kafka 消费者不使用 RAFT/Paxos，因为最终这对我来说就像是共识。我错了吗？

我很抱歉没有实施。每次我要编写算法时，我都会想到各种分布式系统故障场景（网络分区等），我不确定我的实现是否可行

标签： distributed-computing