首页 > 技术文章 > [Spark] - Spark部署安装

liuming1992 2016-01-27 18:49 原文

环境:centos6.0 虚拟机 搭建单机版本的spark 前提条件:搭建好hadoop环境


 1. 下载scala进行安装

  只需要设置环境变量SCALA_HOME和PATH即可

  export SCALA_HOME=/home/hadoop/bigdater/scala

  export PATH=$PATH:$SCALA_HOME/bin

2. 修改hadoop的core-site.xml文件,添加用户代理控制

  hadoop.proxyuser.sparkuser.hosts=*

  hadoop.proxyuser.sparkuser.groups=*

  spearuser指的是安装spark的用户名

3. 下载spark安装文件

  wget http://archive.cloudera.com/cdh5/cdh/5/spark-1.2.0-cdh5.3.6-src.tar.gz

4. 解压压缩文件,编辑conf/spark-env.sh文件

  export SCALA_HOME=/home/hadoop/bigdater/scala

  export SPARK_WORKER_MEMORY=1g

  export SPARK_MASTER_IP=hh

  export MASTER=spark://hh:7077

5. 配置slaves文件,加入worker节点的hostname

  hh

6. 启动

  start-all.sh # 启动hadoop

  $SPARK_HOME/sbin/start-all.sj # 启动spark

 

推荐阅读