时间戳

首页 > 解决方案 > Kafka 连接器的健康检查

apache-kafka-connect - Kafka 连接器的健康检查

问题描述

我有几个Kafka connectors在生产中。有时，这些连接器之一会因错误消息而死：

错误 WorkerSinkTask{id=jdbc-sink-0} 任务在

...

错误 WorkerSinkTask{id=jdbc-sink-0} 任务被杀死，直到手动重启才会恢复（org.apache.kafka.connect.runtime.WorkerTask:173）

奇怪的是，这个死连接器的 REST-API 仍然说一切正常。

监控这种情况的最佳做法是什么？

标签： apache-kafka-connecthealth-monitoring

解决方案

我知道已经很晚了，但是改善 KC 集群监控的一种方法是使用这个 Kafka REST 扩展： https ://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此端点，以确保所有连接器任务运行正常。我们在生产中使用它并且它完成了工作

该 jar 在 maven Central 中也可用，如下所示：

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>

推荐阅读