Spark升级2.0.1版本安装部署教程

Spark升级2.0.1版本安装部署教程

 

 

 

0.集群当前环境

Hadoop版本：2.7.1

JDK版本：jdk1.7.0_79

Hbase版本：1.1.2

Spark版本：1.5.0

Scala版本：2.10.4

1.Spark安装

a)   在官网（http://spark./downloads.html）上下载与当前hadoop版本适合的Spark版本包。

b)   下载后解压到你要放置的安装目录。我是先解压再重命名移动到指定的文件夹下面。

c)   修改Spark配置文件。由于spark1.5.0版本和spark2.0.1版本的配置文件基本相同，故拷贝了原来的配置文件。

具体其中配置如下：

slaves文件配置子节点hostname（我这边在etc/hosts/中针对每个子节点的ip地址做了解析，所以只写域名）。

spark-defaults.conf配置一些jar包的引用。（注意：spark2.0.1版本不再有lib文件夹，只有jars文件夹，所以需要加上这个jars文件路径）

spark-env.sh配置spark的运行环境（注意，JAK版本至少要是1.7以上，SCALA版本也要控制2.11版本以上，scala路径就是后面你要安装的路径）

至此，Spark安装完成

2.Scala安装

a)   由于spark2.0.1版本只支持2.11版本以上的scala版本，所以需要重装新版本的Scala。在Scala官网下载2.11版本以上的scala安装包。（我安装的是2.11.8版本，http://www./download/2.11.8.html）

根据集群的操作系统选择对应的jar包。

下载到指定文件夹后，进行解压缩。

此时注意！要放到/usr/local/文件夹下，必须使用root账号。再拷贝到对应文件夹下。

至此Scala安装完成。

3.修改配置文件

a)   若此时Spark服务正在运行，建议先关闭Spark服务。再修改配置文件。

b)   修改每个账号下面的.bashrc文件

c)   修改完毕之后，source 下.bashrc文件，使之生效。

4.同步文件到子节点

a)   Spark文件夹，Scala文件夹及.bashrc文件到各个子节点，注意：source下.bashrc文件，使之生效。

5.验证是否安装成功

a)   验证scala是否安装成功

输入scala -version

b)   启动Spark服务。进入sbin文件夹下，执行bash -x start-all.sh

c)   使用jps查看进程是否启动成功。

d)   查看Spark页面

e)   执行Spark样例（./bin/run-example SparkPi | grep "Pi is roughly"）

f)   测试Spark-shell能否正常使用（spark-shell --executor-memory 1G --total-executor-cores 10）

g)   查看8080页面

至此，Spark新版本升级完成