apache-kafka - Apache Beam:初始化分区“topic-1”时超时。Kafka 客户端可能无法连接到服务器
问题描述
当我的 Apache Beam 应用程序连接到启用了 ACL 的 Kafka 集群时,我收到了这个错误。请帮我解决这个问题。
Caused by: java.io.IOException: Reader-4: Timeout while initializing partition 'test-1'. Kafka client may not be able to connect to servers.
org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:128)
org.apache.beam.runners.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:779)
org.apache.beam.runners.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:361)
org.apache.beam.runners.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:194)
org.apache.beam.runners.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:159)
org.apache.beam.runners.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:76)
org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1228)
org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:143)
org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:967)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
java.lang.Thread.run(Thread.java:745)
我在 GKE 上有一个带有 3 个节点的 Kafka 集群。我创建了一个具有复制因子 3 和分区 5 的主题。
kafka-topics --create --zookeeper zookeeper:2181 \
--replication-factor 3 --partitions 5 --topic topic
我为test_consumer_group消费者组的主题测试设置了读取权限。
kafka-acls --authorizer-properties zookeeper.connect=zookeeper:2181 \
--add --allow-principal User:CN=myuser.test.io --consumer \
--topic test --group 'test_consumer_group'
在我的 Apache 梁应用程序中,我设置了配置group.id=test_consumer_group。
还使用控制台消费者进行测试,但效果不佳。
$ docker run --rm -v `pwd`:/cert confluentinc/cp-kafka:5.1.0 \
kafka-console-consumer --bootstrap-server kafka.xx.xx:19092 \
--topic topic --consumer.config /cert/client-ssl.properties
[2019-03-08 05:43:07,246] WARN [Consumer clientId=consumer-1, groupId=test_consumer_group]
Received unknown topic or partition error in ListOffset request for
partition test-3 (org.apache.kafka.clients.consumer.internals.Fetcher)
解决方案
似乎是您的卡夫卡读者之间的沟通问题Kafka client may not be able to connect to servers
推荐阅读
- javascript - 如何在不依赖按键的情况下检测 Windows alt 代码输入?
- sql - 使用键入或复制的值时 SQL Server 输出不同的结果
- python - 如何使用熊猫比较一组一天中的行?
- r - 有没有一种方法可以找到在 R 上按区间分组的数据的近似平均值、中位数和众数?
- python - 按顺序对图像进行排序
- mysql - 允许重复某些 ID 的随机 SQL 查询
- c - C 和 GTK3 - 如何不间断地运行线程?
- r - 如何在整个时间范围内绘制和比较多个时间点的数据?
- java - 使用 hasAuthority() 测试 @PreAuthorize 注释
- python-3.x - ValueError:DataFrame 的真值不明确。使用 a.empty、a.bool()、a.item()、a.any() 或 a.all()。熊猫