这里是结合hadoop2.0使用的 1,download :http://spark.incubator./downloads.html选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。 2,download scala,http://www./download/all.html根据下载的spark的README中的描述下载合适的版本 3,安装 其实就是解压,配置 /etc/profile环境变量 export SPARK_HOME=/data1/spark/spark export SCALA_HOME=/data1/spark/scala-2.9.3 export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin 配置spark的conf下的spark-env.sh export JAVA_HOME=/usr/java/default export SCALA_HOME=/data1/spark/scala-2.9.3 export SPARK_MASTER_IP=192.168.0.1 export SPARK_MASTER_WEBUI_PORT=8080 export SPARK_WORKER_WEBUI_PORT=8000 export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop 配置slaves(ip根据需要修改) 192.168.0.2 192.168.0.3 分发spark目录和scala目录到几台服务器相同路径下 4,启动 进入主节点的spark目录的bin下stop-all.sh是停掉集群,start-all.sh启动集群,jps可以在主节点看到master进程,slave节点看到worker进程 5, 运行程序,运行例子进入spark目录下 分布式运行 ./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077 ./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077 本地运行 ./run-example org.apache.spark.examples.SparkPi local ./run-example org.apache.spark.examples.SparkLR local
|
|