时间戳

首页 > 解决方案 > 想将 java.util 库添加到 build.sbt 文件中

java - 想将 java.util 库添加到 build.sbt 文件中

问题描述

我正在使用 java.util 库中的 base64 函数并将其注册到 spark UDF 并尝试在 Spark-Sql 中使用

spark.udf.register("encodeBase64", (processname: String) => ( Base64.getEncoder.encodeToString(processname.getBytes())))

java.lang.NoClassDefFoundError: java/util/Base64但是，当我构建 fat jar 并在我的 spark 集群中运行它时，我得到了错误。

我想将 java.util.base64 函数添加到 build.sbt 广告中。请让我知道如何将其添加到 build.sbt。

18/06/21 23:49:47 WARN TaskSetManager：在阶段 1.0 中丢失任务 0.0（TID 1，ma2-gbit-ldn5006.corp.apple.com，执行程序 1）：java.lang.NoClassDefFoundError：java/util/Base64

标签： javaapache-sparkapache-spark-sql

解决方案

推荐阅读