分享

小白学习大数据之路——在docker集群上搭建spark集群

 天道酬勤YXJ1 2017-01-02

前前后后用了好久才将系统搭建过程完成,当中遇到不少问题,郁闷了好长时间,感谢大黄同学的帮助,下次他发博客打赏喽。

我将以借鉴的博客的博文顺序补充细节,告诉作为新手的我们可能会遇到的问题。linux的基本操作指令一定要熟悉,比如文件解压命令(tar -zxvf jdk-8u77-linux-x64.tar.gz到当前文件夹下),文件的移动(mv),还有基本的vim命令。

  • Docker安装及配置
  1. 使用tag命令来为一个镜像打标签:docker tag

这个语句缺少一个部分,需要给你的镜像添加镜像的来源repository,例如ubuntu:spark。

这里的spark是tag.还有这里有一个技术路线图,是整个操作的示意图,十分清晰明了,一定要看懂后在动手。

  • ssh安装及配置
  1. 我的前一篇博文清楚的介绍了什么是ssh所以本处就不解释了。添加几个命令的注释:
docker --name cloud1 -h cloud1 --add-host cloud1:172.17.0.2 --add-host cloud2:172.17.0.3 --add-host cloud3:172.17.0.4 -it ubuntu

这个命令严格来说应该在docker 后面加run命令参数。

apt-get install ssh

使用apt工具包下载前最好用:apt-get update更新一下,以免造成下载失败。我配置时有错误提示说配置的目录未找到,可能是版本不同里面的文件有变化,当出现找不到文件,可以自己用shell命令新建需要的文件即可。

  • 基础环境安装
  1. 包括后面一堆需要的软件下载都不是apt-get工具可以搞定的。需要用wget.

    wget是linux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径

    例如:wget http://mirrors./apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

    简单说一下-c参数, 这个也非常常见, 可以断点续传, 如果不小心终止了, 可以继续使用命令接着下载

    例如: # wget -c http://mirrors./apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

    下面详细阐述wget的用法:

    wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.

    所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

    wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

    wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

  2. 我们搭建环境需要下载:

    需要下载软件列表
    软件名称版本
    java1.8.0_77
    scala2.10.6
    Zookeeper3.4.8
    hadoop2.6.4
    spark1.6.1

    在linux中的压缩包大多以tar.gz或tgz两种。具体的下载地址去该软件的下载官网,然后挑选合适版本的下载文字,右键选择下载地址即可得到地址,使用wget命令下载。具体如下:

小白学习大数据之路——在docker集群上搭建spark集群

然后我们可以选择合适版本并获取地址:

小白学习大数据之路——在docker集群上搭建spark集群

http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz

  • 集群部署
  1. 到这一步基本整个过程快要结束,
    zkServer.sh start

在所有节点启动zkserver后,在所有节点查看Zkserver运行状态,

Zkserver.sh status

效果如下图:小白学习大数据之路——在docker集群上搭建spark集群

小白学习大数据之路——在docker集群上搭建spark集群

重点是:显示连接不到Zkserver的错误,如果等待10分钟还不行,重启虚拟机也可以一试。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多