首页 > 解决方案 > 使用 Spark 流将 Kafka Avro 序列化数据存储到镶木地板文件

问题描述

我正在创建 Kafka 和 spark 流式传输管道。这里数据使用 AVRO GenericRecord 和 Kafka 模式注册表进行 avro 序列化,然后存储在 Kafka 主题中。Spark 流用于从 Kafka 主题中读取数据。我的要求是使用java API以附加方式将火花流输出存储到镶木地板文件中。请让我知道合适的方法。

标签: apache-kafkaspark-streamingparquet

解决方案


推荐阅读