apache-spark - 在 spark 中从 s3 读取时处理丢失的数据

Question

我正在使用编码器将数据从 s3 读取到 DF，但是在输入数据中缺少编码器实体中指定的一些字段，我得到了

User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve

我该如何处理这种情况？

Encoder<Entity> sEncoder = Encoders.bean(Entity.class);
Dataset<Entity> sAggregates =sparkSession.read().json(inputPaths.get(0).as(sEncoder);

标签： apache-sparkapache-spark-sqlapache-spark-dataset