首页 > 技术文章 > spark源码编译,本地调试

cenglinjinran 2017-10-21 15:47 原文

1、下载源码

2、进入源码根据README.md编译源码,注意使用的是源码目录下的maven编译

3、用idea导入顶层pom文件

4、修改顶层pom文件和example下的pom文件,将scope的值全部从provided替换成compile

5、运行任意example,由于是本地运行,需要添加

.master("local[4]")来配置SparkSession。

推荐阅读