apache-kafka - Kafka 可变事件有效负载大小

Question

我正在尝试找出最佳事件大小以生成到 Kafka 中。我可能有 1KB 到 20KB 的事件，我想知道这是否会成为问题。

我可以对生产者进行一些更改，使它们的大小大致相似，比如 1KB-3KB。这是一个优势还是 Kafka 对可变事件大小没有问题？

Kafka 是否有最佳事件大小，还是取决于配置的 Segment 设置？

谢谢。

标签： apache-kafkakafka-producer-api

Answer 1

默认情况下，Kafka 最多支持 1MB 消息，并且可以将其更改为更大，当然会因增大而牺牲网络 IO 和延迟。

话虽如此，我认为消息的大小是否与您所谈论的数据大小一致并不重要。

如果您真的想压缩您的有效负载，您可以查看Kafka API 中提供的不同序列化框架和压缩算法。