apache-spark - 分别配置 Spark 和 Hadoop(haddop 和 spark 使用哪个版本)
问题描述
我正在尝试使用 hadoop 3.1.2 配置 spark 2.4.4,我已经成功安装了 hadoop-3.1.2.tar.gz 和 spark-2.4.4-bin-without-hadoop.tgz,并且我已经构建了 conf/spark- env.sh 文件
export JAVA_HOME=/opt/jdk8u202-b08
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark
export SPARK_DIST_CLASSPATH=$HADOOP_HOME/etc/hadoop
export SPARK_DIST_CLASSPATH=($HADOOP_HOME/bin/hadoop classpath)
但是当我启动 spark-shell
2019-11-27 11:53:07,051 WARN util.Utils: Your hostname, xxxxxxx resolves to a loopback address: 127.0.1.1; using 172.20.20.145 instead (on interface wlp2s0)
2019-11-27 11:53:07,052 WARN util.Utils: Set SPARK_LOCAL_IP if you need to bind to another address
2019-11-27 11:53:07,327 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://ashish-mittal:4040
Spark context available as 'sc' (master = local[*], app id = local-1574835792826).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.4
/_/
Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 1.8.0_202)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
如何检查使用了哪个版本的hadoop with spark
解决方案
Spark 使用 HADOOP_HOME 并从那里加载类路径,因此您下载的版本就是它将使用的版本
请注意,Spark 尚未完全支持 Hadoop3
推荐阅读
- javascript - 图像上传和预览选项,代码不允许显示不同的图像
- python - 降级 Python 会破坏 Conda
- javascript - 日期转换为时间戳不正确,输出错误的时间戳
- html - 在 html 和 css 中制作全高 div
- angular7 - Angular 7 Web 应用程序页面刷新给出“您要查找的资源已被删除、名称已更改或暂时不可用。”
- asp.net - ASP.NET Windows 身份验证路由不同的组
- amazon-web-services - 如何在 AWS CloudFront 中配置查询参数
- kendo-ui - MVC 的 Kendo Grid,更新操作未触发
- bokeh - 散景图第一个 y 轴失去了第二个 y 轴的自动缩放
- javascript - GET http://localhost:3000/bundle.js net::ERR_ABORTED 404(未找到)