apache-kafka - Kafka如何向具体用户发送消息？

Question

系统包含用户实体。每个用户都可以按类型获取消息。

如何在 Kafka 中组织这个？我知道，我可以创建主题消息并通过关键用户 ID 存储消息，但如果是百万用户怎么办？百万分区？

标签： apache-kafkakafka-producer-api

Answer 1

默认情况下，Kafka 将使用消息键的哈希值，并在分区数上循环消息。如果您有一百万个唯一键值和两个分区，则每个分区将获得 500,000 个键。如果你有 10 个分区，每个分区有 100,000 个键，依此类推。

阅读更多：

• http://kafka.apache.org/25/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html
• https://medium.com/streamthoughts/understanding-kafka-partition-assignment-strategies-and-how-to-write-your-own-custom-assignor-ebeda1fc06f3
• https://www.youtube.com/watch?v=06iRM1Ghr1k&list=PL5T99fPsK7prvk569_RAbHuBXhEHLar4g&index=2&t=5s