scala - java.io.NotSerializableException: org.apache.spark.sql.Column 当我使用带有 UDF 的条件创建新列时

Question

我根据文本摘要创建了一个数据框，以查找文档频率 (DF) 和逆文档频率 (IDF)。

以下是文档频率和单词标记的列 -

但是，当我尝试使用用户定义的函数计算数据框中每一行的 IDF 时，我得到了提到的错误。

这是 udf（遍历每一行）和函数（计算 IDF）的代码

标签： scalaapache-spark-sql

Answer 1

您可能不需要自己编写函数来计算 IDF，因为它已经在 spark-mllib 中实现，请参阅：

https://spark.apache.org/docs/latest/mllib-feature-extraction.html#tf-idf

此外，如果不了解 calcIDF 函数是如何定义的，我们无法对 NotSerializableException 提供太多帮助。