春和秋荣 / Haddop安装 / VMware下Hadoop 2.4.1完全分布式集群平台...

分享

   

VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

2019-09-13  春和秋荣
4.1 编译hadoop-2.4.1-src.tar.gz源包
对于64位操作系统,需要重新编译源码包。
4.2 解压安装包hadoop-2.4.1.tar.gz
hadoop@master:/home/duanwf/Installpackage$ sudo tar zxvf hadoop-2.4.1.tar.gz -C /opt/

 

4.3 Hadoop环境变量配置
修改/etc/profile文件,加入以下内容:
复制代码
hadoop@master:~$ sudo vi /etc/profile
export HADOOP_DEV_HOME=/home/hadoop/hadoop-2.4.1/
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

export PATH=$HADOOP_DEV_HOME/bin:$HADOOP_DEV_HOME/sbin:$PATH
复制代码

 

使修改的配置生效,在终端输入命令:
hadoop@master:~$ source /etc/profile

 

查看Hadoop环境变量是否生效,在终端执行命令:

复制代码
hadoop@master:~$ hadoop 
Usage: hadoop [--config confdir] COMMAND 
where COMMAND is one of: 
fs run a generic filesystem user client 
version print the version 
jar <jar> run a jar file 
checknative [-a|-h] check native hadoop and compression libraries availability 
distcp <srcurl> <desturl> copy file or directories recursively 
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive 
classpath prints the class path needed to get the 
Hadoop jar and the required libraries 
daemonlog get/set the log level for each daemon 
or 
CLASSNAME run the class named CLASSNAME 

Most commands print help when invoked w/o parameters.
复制代码

     

4.4 hadoop配置

配置之前,需要在master本地文件系统创建以下文件夹:

~/dfs/name

~/dfs/data

~/temp
复制代码
hadoop@master:~$ mkdir ~/dfs 

hadoop@master:~$ mkdir ~/temp 

hadoop@master:~$ mkdir ~/dfs/name 

hadoop@master:~$ mkdir ~/dfs/data
复制代码

     

这里要涉及到的配置文件有7个:

~/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

~/hadoop-2.4.1/etc/hadoop/yarn-env.sh

~/hadoop-2.4.1/etc/hadoop/slaves

~/hadoop-2.4.1/etc/hadoop/core-site.xml

~/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

~/hadoop-2.4.1/etc/hadoop/mapred-site.xml.template

~/hadoop-2.4.1/etc/hadoop/yarn-site.xml

 
Hadoop配置文件修改

   

4.5 复制到其他节点
  进入slave1:
hadoop@slave1:~$ scp -r hadoop@master:/home/hadoop/hadoop-2.4.1/ /home/hadoop/

  进入slave2:

hadoop@slave2:~$ scp -r hadoop@master:/home/hadoop/hadoop-2.4.1/ /home/hadoop/

 

4.6 Hadoop启动
(1)格式化HDFS
格式化HDFS:hadoop@master:~/hadoop-2.4.1$ ./bin/hdfs namenode -format

 

(2)启动HDFS
执行一下命令启动HDFS,会自动启动所有master的namenode和slave1,slave2的datanode:

 

hadoop@master:~/hadoop-2.4.1$ ./sbin/start-dfs.sh

 

【出现问题】
mkdir: 无法创建目录"/home/hadoop/hadoop-2.4.1/logs": 权限不够 
【解决办法】
在master上都执行命令:
hadoop@master:~$ sudo chown -R hadoop:hadoop hadoop-2.4.1/

slave1和slave2同样需要执行。

 

重新启动HDFS
hadoop@master:~/hadoop-2.4.1$ ./sbin/start-dfs.sh

 

检查Hadoop集群是否安装好了,在master上面运行jps,如果有NameNode这个进程,说明master安装好了:
hadoop@master:~/hadoop-2.4.1$ jps 
31711 SecondaryNameNode 
31464 NameNode 
31857 Jps

 

在slave1上面运行jps,如果有DataNode这个进程,说明slave1安装好了。
hadoop@slave1:~$ jps 
5529 DataNode 
5610 Jps

 

在slave2上面运行jps,如果有DataNode这个进程,说明slave1安装好了。
hadoop@slave2:~$ jps 
8119 Jps 
8035 DataNode

 

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多
    喜欢该文的人也喜欢 更多

    ×
    ×

    ¥.00

    微信或支付宝扫码支付:

    开通即同意《个图VIP服务协议》

    全部>>