时间戳

首页 > 解决方案 > Kafka 消费者不是仅从 4 个分区中的一个分区中读取数据

apache-kafka - Kafka 消费者不是仅从 4 个分区中的一个分区中读取数据

问题描述

我使用的是 Kafka 0.9，最近迁移到了 Kafka 1.0，但是我使用的客户端仍然是 0.9。无论如何，我都面临一个问题，即我们的消费者有时会间歇性地停止从一个或两个分区消费。

我有 5 个从 24 个分区读取的消费者，这些是从部署在单个服务器中的应用程序创建的消费者 JVM 线程。经常有一个消费者（线程）会停止从它所消费的分区之一中读取数据。

例如：一个消费者线程将从分区 1、2、3 和 4 读取。它将停止从分区 1 读取并最终构建滞后。我必须重新启动消费者才能开始从该特定分区中挑选这些消息。

我想了解这里的问题。

我的消费者配置

session.timeout.ms=150000
request.timeout.ms=300000
max.partition.fetch.bytes=153600

标签： apache-kafkakafka-consumer-api

解决方案

推荐阅读