java - 查询中的 Spark-sql 错误：不支持的 java 类型类 java.util.ArrayList

Question

现在我们将 hive 转移到 spark-sql。我们创建一些使用 ETL 的 UDF。当使用FUNC (X) -- 返回一个 ArrayList。在蜂巢中是正确的。但相同的 FUNC 使用 spark-sql 会抛出： Spark-sql 查询中的错误：不支持的 java 类型类 java.util.ArrayList。下面是我的简单代码

import java.util.ArrayList;
public class Array_Test extends UDF{

    public static ArrayList<String> evaluate(String jsonArrayStr) {

        ArrayList<String> textList = new ArrayList<String>();
        textList.add(jsonArrayStr);
        return textList;

    }
}

谁能知道为什么？我们使用的 spark vesrion 是 SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658.hive 版本是 1.1.0-cdh5.15.2。

坦斯克

标签： javahiveapache-spark-sql