java - 如何在 Java Spark 中读取 avro 文件作为对象列表

Question

我有一个 avro 文件，我想在将其转换为其代表对象后对其进行读取和操作

我尝试在 Java Spark 中使用 RDD 和 DataSet 加载它，但在这两种情况下我都无法转换为所需的对象

作为数据集

Dataset<MyClass> input = sparkSession.read().format("com.databricks.spark.avro").load(inputPath)
                .as(Encoders.bean(MyClass.class)); 

这失败并出现错误“在 bean 类中不能有循环引用，但得到了类 org.apache.avro.Schema 的循环引用”

作为RDD

JavaRDD<String> input = sparkContext.textFile(inputPath);

如何将此 RDD 对象转换为 RDD 对象或 Dataset 对象？

我对此很陌生，所以如果我遗漏了一些基本但无法找到可行的解决方案，请原谅我。

标签： javaapache-sparkavrospark-avro

Answer 1

这是通过使用来自https://github.com/CeON/spark-utils的 SparkAvroLoader 解决的