apache-kafka - Kafka 流：流线程与存储

Question

假设我们有一个实例，其配置如下，并且在商店中维护状态。

主题 - 1 个
分区 - 6
num.stream.threads - 6

拓扑
源 - 1 个
低级处理器 - 3（每日、每月和每年聚合各一个处理器）接收
器 - 3

• 使用上述拓扑和主题分区可以执行多少个并行任务？

• 如果为 Daily 处理器分配了 2 个并行任务，并且如果 punctuate 计划每 30 分钟运行一次，并且在覆盖中如果我们将所有存储转发到接收器 1，则键值存储是否会发布两次到接收器，因为 2 个并行任务共享同一个存储，或者每个任务都有自己的存储，并且只会发布与它们分配的分区相对应的数据，这些分区被持久保存在各自的存储中？

  KeyValueIterator<String, House> keyValueIterator = houseStore.all();
  while (keyValueIterator.hasNext()) {
      KeyValue<String, House> next = keyValueIterator.next();
      context.forward(next.key, next.value);
  }
  keyValueIterator.close();
  

• 如果我们改为使用 KTable（每天、每月和每年聚合一个）高级 DSL，将会有多少任务？是否可以有两个并行任务更新同一个 KTable（比如每天）？

标签： apache-kafkaapache-kafka-streams

Answer 1

Kafka Streams 将创建 6 个任务，因为源主题有 6 个分区。状态，将被划分为 6 个分片，每个任务一个分片。因此，任务中的本地存储是任务专有的，仅包含相应分片的数据。如果您按任务扫描整个商店，您将不会在输出主题中获得重复数据，因为每个分片中的数据不同。