首页 > 解决方案 > org.apache.kafka.common.errors.TimeoutException:60000 毫秒后元数据中不存在主题

问题描述

我收到错误:

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

尝试在使用 Java 的 Windows 上的本地 kafka 实例中生成主题时。请注意,主题 testtopic2 存在,我可以使用 Windows 控制台生成器生成消息给它就好了。

在我正在使用的代码下方:

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom 依赖:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出: 列表主题的输出

描述 testtopic2 的输出

标签: javawindowsapache-kafkakafka-producer-api

解决方案


我今天遇到了同样的问题。我是 Kafka 的新手,只是试图让一个示例 Java 生产者和消费者运行。我能够让消费者工作,但与生产者一样,不断收到与您相同的“元数据中不存在的主题”错误。

最后,出于绝望,我向制作人添加了一些代码来转储主题。当我这样做时,由于jackson-databind 和jackson-core 包中缺少类而出现运行时错误。添加它们后,我不再收到“主题不存在”错误。我删除了临时添加的主题转储代码,它仍然有效。


推荐阅读