1 下载安装官网下载 选择版本和type,这里为 spark-2.4.4-bin-without-hadoop.tgz 1.1 命令下载:cd ~/software wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz 1.2 解压重命名:tar -xzvf spark-2.4.4-bin-without-hadoop.tgz mv spark-2.4.4-bin-without-hadoop.tgz spark 1.3 配置环境变量:使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):export SPARK_HOME=/software/spark export PATH=$PATH:$SPARK_HOME/bin 使用source命令使配置生效:source ~/.bashrc可以使用echo $PATH 输出查看是否正确2 简单配置2.1 安装scala并配置环境变量:2.2 配置spark-env.sh:位置:$SPARK_HOME/conf/spark-env.sh.template命令:cd /software/spark/conf # 复制并重命名 cp spark-env.sh.template spark-env.sh vim spark-env.sh 配置:# hadoop java scala等须安装好并配置好 环境变量 export JAVA_HOME=/usr/local/java/jdk1.8 export SCALA_HOME=/software/scala export SPARK_HOME=/software/spark # 单机版配置为本机 ip export SPARK_MASTER_IP=127.0.0.1 export SPARK_EXECUTOR_MEMORY=1G export SPARK_DIST_CLASSPATH=$(hadoop classpath) 2.3 配置slaves:文件位置:$SPARK_HOME/conf/slaves.template命令:cd /software/spark/conf # 复制并重命名 cp slaves.template slaves vim slaves 配置:localhost 2.4 执行示例程序:在 $SPARK_HOME/examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令: [root@VM_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly" Pi is roughly 3.1369756848784243 [root@VM_0_8_centos spark]# 注:执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中) 2.5 执行示例程序:# 启动shell spark-shell
# 关闭 ctrl+d Tips:常见错误https://www.cnblogs.com/qifengle-2446/p/6424377.html |
|