java - 如何在火花中使用地图而不实现可序列化？

Question

我map()在我的代码中使用它抛出了一个NotSerializableException，所以我实现了Serializable.

有没有其他方法可以克服这个异常或者 map 总是使用Serializable？

Dataset<Row> outdf=indf.map(new MapFunction<Row,Row>() {

    @Override
    public Row call(Row row){
          //Calling another function in another class 
 
       return r;//r is also a row
     }
},encoder);

标签： javaapache-sparkapache-spark-sql

Answer 1

在调用函数内部，如果您使用的是 Mapping 类中的某些东西（变量，对象），那么这个 Mapping 类需要实现 Serializable。

参考这篇文章。