java - 火花数据集到带有下划线的java对象映射字段

Question

spark 中的数据集有一个名为 name 的列no_of_items。在相应的 Java 模型（产品）中，我有一个列名为noOfItems. 现在，当我使用以下代码将数据集转换为数据集时

df.as(Encoders.bean(Product.class));

它抛出以下异常

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`noOfItems`' given input columns: [category, sub_category, no_of_items];

如何解决这个问题？

标签： javaapache-spark

Answer 1

在转换df为之前dataset，重命名该列，

df.withColumnRenamed("no_of_items", "noOfItems").as(Encoders.bean(Product.class));