GUI里调试Spark JOB 必须先安装好 Spark:https://www.cnblogs.com/yjyyjy/p/12860642.html
视频:
1. 安装anaconda
-
下载安装 anaconda
下载地址:https://www.anaconda.com/distribution
Spyder 是 anaconda 的一个组件,anaconda 是个功能强大的数据分析集成开发环境, 使用说明文档:https://docs.anaconda.com/anaconda/user-guide/getting-started/
2. 启动 Spyder
-
安装列表里面选择 Spyder
3. 运行Spark Job
-
打开 Spyder 开始你的第一个 Spark Job. Py 文件在这里下载:https://github.com/yjy24/Spark_data_analysis/blob/master/Wordcount.zip
-
World count 输入文件内容:
-
F5 运行 Job
-
输出结果见 Console 窗口: