时间戳

首页 > 解决方案 > Kafka Elasticsearch sink 连接器任务指标或日志

elasticsearch - Kafka Elasticsearch sink 连接器任务指标或日志

问题描述

我面临一个问题Kafka-Elasticsearch sink-connector。有两个主题可供消费。对于其中一个topic（比如说topic1），它与 max 6 一起工作正常tasks。对于另一个topic（比如说topic2），它工作了一段时间，然后我看到没有可用的消费者，因此message-behind延迟开始增加。我试图在日志中搜索异常，messages但kafkaconnect没有找到任何东西。的状态tasks正在显示RUNNING。尝试使其工作的步骤： connector重新 kafka-connect process启动重新启动已删除并再次创建主题。但没有什么能解决问题。在执行上述步骤时，它会一次又一次地停止工作。尝试减少批量大小

        "linger.ms": "1000",
        "flush.timeout.ms": "1000",
        "connection.timeout.ms": "1000",
        "read.timeout.ms": "5000",
        "max.in.flight.requests": "10",
        "max.retries": "50",
        "batch.size": "1000",
        "retry.backoff.ms": "600",

Kafka version: 5.5.0-ce Elasticsearch version is ES_V7

我将任务日志更改为，TRACE但找不到失败的任务。有什么建议，我应该检查什么？

谢谢

标签： elasticsearchapache-kafkakafka-consumer-apiapache-kafka-connect

解决方案

推荐阅读