java - org.apache.kafka.common.errors.TimeoutException:60000 毫秒后元数据中不存在主题
问题描述
我收到错误:
org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.
尝试在使用 Java 的 Windows 上的本地 kafka 实例中生成主题时。请注意,主题 testtopic2 存在,我可以使用 Windows 控制台生成器生成消息给它就好了。
在我正在使用的代码下方:
import java.util.Properties;
import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
public class Kafka_Producer {
public static void main(String[] args){
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.RETRIES_CONFIG, 0);
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> producer = new KafkaProducer<String, String>(props);
TestCallback callback = new TestCallback();
for (long i = 0; i < 100 ; i++) {
ProducerRecord<String, String> data = new ProducerRecord<String, String>(
"testtopic2", "key-" + i, "message-"+i );
producer.send(data, callback);
}
producer.close();
}
private static class TestCallback implements Callback {
@Override
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
if (e != null) {
System.out.println("Error while producing message to topic :" + recordMetadata);
e.printStackTrace();
} else {
String message = String.format("sent message to topic:%s partition:%s offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
System.out.println(message);
}
}
}
}
Pom 依赖:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.6.0</version>
</dependency>
解决方案
我今天遇到了同样的问题。我是 Kafka 的新手,只是试图让一个示例 Java 生产者和消费者运行。我能够让消费者工作,但与生产者一样,不断收到与您相同的“元数据中不存在的主题”错误。
最后,出于绝望,我向制作人添加了一些代码来转储主题。当我这样做时,由于jackson-databind 和jackson-core 包中缺少类而出现运行时错误。添加它们后,我不再收到“主题不存在”错误。我删除了临时添加的主题转储代码,它仍然有效。
推荐阅读
- ruby-on-rails - Rails 4 + Google:在网页上显示评论
- react-native - 反应原生和领域同步
- python - Pandas - 使用 loc 访问索引级别
- c# - c# ASP MVC Parallel For循环,获取后代,随机错误
- javascript - AngularJS - 流默认值?
- javascript - 如何在Vue js中将复选框与芯片绑定(双向绑定)
- c# - 从列表中删除项目 C#
- php - 如何创建自定义表单以将数据保存到 Wordpress 中未发布的帖子?
- scala - LazyLogging 是否启用调试?
- java - 如何知道用于创建 .jar 文件的 mongodb 版本?