时间戳

首页 > 解决方案 > 当我获取 /connectors 路由时，Kafka 连接 REST Api 崩溃

apache-kafka - 当我获取 /connectors 路由时，Kafka 连接 REST Api 崩溃

问题描述

我目前正致力于在 3 节点集群上部署 Kafka 连接集群。我的集群是一个设置了 kerberos 的 cloudera（版本 5.x）。

在尝试 Kafka 连接之前，我设法设置了一个用于生产者和消费者控制台实现的主题。我认为这可能与过去有效。

我遇到了这个错误：

错误牧民工作线程中未捕获的异常，退出：（org.apache.kafka.connect.runtime.distributed.DistributedHerder：228）org.apache.kafka.common.errors.TimeoutException：60000ms的超时在分区连接位置之前过期 -可以确定 offsets-0

在寻找了类似的问题后，我发现有些人设法通过设置主题来使其工作connect-status，, connect-offsets.connect-configs

我确实喜欢：

bin/kafka-topics.sh --create --topic connect-status --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-offsets --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-configs --zookeeper address:2181 --replication-factor 1 --partitions 1

它对我不起作用，即使它会起作用，我有点惊讶于在生产partitions中1可以接受使用 a 设置这些主题，它不能成为最终解决方案，不是吗？

我能做些什么 ？

编辑：所以我只是再次以分布式模式运行 kafka 连接，而没有尝试到达 /connectors 路由，但它还是崩溃了。

参考：

无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“连接偏移”时出错

https://github.com/confluentinc/kafka-connect-jdbc/issues/189

标签： apache-kafkaapache-kafka-connect

解决方案

也许是 CDH 团队的一些技巧，让这些主题只有一个分区。但是，如果您进行设置--replication-factor，3那么当领导者失败时，您将不会丢失连接器的 Kafka Connect 配置/偏移量/状态。

推荐阅读