apache-kafka-streams - Kafka Streams 实例进入 DEAD 状态

Question

我们使用的是 Kafka 0.10.2.0，kafka 流 1.1.0。我们有 16 台机器的 Kafka 集群，Kafka Streams 正在使用的主题有 256 个分区。我们生成了 400 个 Kakfa Streams 应用程序实例。我们看到所有的 StreamThreads 都进入了 DEAD 状态。

[2018-05-25 05:59:29,282] INFO stream-thread [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7-StreamThread-1] State transition from PENDING_SHUTDOWN to DEAD (org.apache.kafka.streams.processor.internals.StreamThread)
[2018-05-25 05:59:29,282] INFO stream-client [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7] State transition from REBALANCING to ERROR (org.apache.kafka.streams.KafkaStreams)
[2018-05-25 05:59:29,282] WARN stream-client [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7] All stream threads have died. The instance will be in error state and should be closed. (org.apache.kafka.streams.KafkaStreams)
[2018-05-25 05:59:29,282] INFO stream-thread [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7-StreamThread-1] Shutdown complete (org.apache.kafka.streams.processor.internals.StreamThread)

请注意，当我们只有 100 个 kafka 实例时，一切都按预期工作。我们看到实例正在消费来自主题的消息。

标签： apache-kafka-streams