kubernetes - Kafka 和 Kubernetes 随机产生错误：Error: NOT_LEADER_FOR_PARTITION 或 Error when sent message to topic XXX with key: null

Question

我目前在 Kubernetes 集群中运行 Kafka 和 Zookeeper。我做了一个无头服务、statefulset 和一个节点平衡器，以将 Kafka 集群暴露在 Kuberentes 之外。

问题是似乎并非总是每个代理（pod）都没有正确连接到主题。例如，如果我使用具有三个分区的主题调用测试的 Kafkacat 消费者模式进行测试，有时某些分区不会到达主题的末尾（或者它没有连接到每个分区），因此它无法产生和消费一些消息. 但这非常随机发生，有时它也可以正常工作。（我需要给一些时间来工作，或者我需要重新启动，直到它正常工作，但在某些时候它又无法恢复工作。）

我经常收到的一些错误消息：

Error when sending message to topic XXX with key: null, value: X    bytes with error: 

WARN Got error produce response with correlation id 6 on topic-partition test-1, retrying (2 attempts left). Error: NOT_LEADER_FOR_PARTITION (org.apache.kafka.clients.producer.internals.Sender)

我目前正在使用https://github.com/kubernetes-retired/contrib/tree/master/statefulsets/kafka作为我的源代码。

有人可以提示我这种随机性来自何处或我可以尝试调查某些因素的其他测试方法吗？希望我的问题足够清楚。

标签： kubernetesapache-kafka