首页 > 解决方案 > 如何从 spark 源代码构建与 spark 下载中可用的 JAR 相同的 JAR?

问题描述

我需要对 spark mllib 随机森林算法进行一些更改。我从https://github.com/apache/spark获得了源代码。我已经使用 maven 构建了 JAR,但是我构建的 JAR 缺少原始 MLLib JAR(SPARK 下载)中的一些类。

我已经使用 maven 在 linux 机器中构建了代码。

用于构建的命令是 ./build/mvn -DskipTests clean package。

原始 JAR 在https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11/2.4.3中可用

构建的 JAR 的大小应为 7.65MB 。但我得到一个名为 spark-mllib_2.12-3.0.0-SNAPSHOT 的大小为 5.4MB 的 JAR。

标签: scalamavenapache-sparkjarapache-spark-mllib

解决方案


推荐阅读