时间戳

首页 > 解决方案 > 将 AVRO 文件发布到 kafka 主题

apache-kafka - 将 AVRO 文件发布到 kafka 主题

问题描述

我有一个包含 AVRO 格式数据的文件，需要直接发布到 kafka 主题。在我的代码中是否有任何实用程序无需大量数据解析？使用kafka 1.0版本。

标签： apache-kafkaavrokafka-producer-api

解决方案

您可以从 AVRO 文件中读取数据，然后将其序列化为字节数组。

final Schema avroSchema = new Schema.Parser().parse(new File("yourAvroSchema.avsc"));            
File avroFile="yourAvroFile.avro"

// Read as GenericRecord
final GenericDatumReader<GenericRecord> genericDatumReader = new GenericDatumReader<>(avroSchema );
final DataFileReader<GenericRecord> genericRecords = new DataFileReader<>(avroFile, genericDatumReader);

// Serialization
ByteArrayOutputStream out = new ByteArrayOutputStream();
DatumWriter<GenericRecord> writer = new GenericDatumWriter<GenericRecord>(avroSchema);

Encoder binaryEncoder = EncoderFactory.get().binaryEncoder(out, null);

while (genericRecords.hasNext()) {
    writer.write(genericRecords.next(), binaryEncoder);
}
binaryEncoder.flush();
out.close();

// ....

推荐阅读