分享

大数据环境搭建之Hadoop集群的搭建(3)

 小马哥技术屋 2017-12-16
创建文件夹:mkdir apps
   以后将安装所有的软件放入到该文件夹中。
rz 打开本地上传hadoop包。
解压:tar -zxvf hadoop-2.6.4.tar.gz -C apps 解压到apps文件夹中。
cd hadoop-2.6.4/
cd etc/
cd hadoop/
首先修改hadoop-env.sh配置,该文件是启动脚本的文件。
echo $JAVA_HOME
此时会看到java的配置目录(/usr/local/jdk1.7.0_80
1、vi hadoop-env.sh
查找到export JAVA_HOME=${JSVC_HOME}
将其注释并修改为java的配置路径:
export JAVA_HOME= /usr/local/jdk1.7.0_80
wq!退出并保存。
修改core-site.xml
2、vi core-site.xml

<configuration>
   <property> 
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop1:9000</value>  //说明:hadoop1 表示namenode
   </property>
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hdpdata</value>
   </property>
</configuration>

wq!退出保存。
3、vi hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>   //说明:文件备份两份
  </property>
</configuration>

退出并保存。
先修改一下名字:cp mapred-site.xml.template mapred-site.xml
4、vi mapred-site.xml
<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>  //maprecude运行框架是yarn
  </property>
</configuration>
退出并保存。
5、vi yarn-site.xml
<configuration>
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop1</value>
</property>
<property>
   <name>yarn.nodemanager.aux-service</name>
   <value>mapreduce_shuffer</value>
</property>
</configuration>
退出保存。
将该台上的配置文件发送到其他三台机子上。
cd ~
scp -r apps hadoop2:/home/hadoop
输入密码后可以看到上传
依次上传到剩余两台机子上。
scp -r apps hadoop3:/home/hadoop
scp -r apps hadoop4:/home/hadoop

还需要格式还一下节点:
cd /usr/local/apps/
cd hadoop-2.6.4
cd bin
hadoop namenode -format  此时会发现未找到命令,是因为没有配置hadoop的环境

vi /etc/profile
export HADOOP_HOME=/apps/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
退出保存。

再将该文件发送到其他三台文件
scp /etc/profile hadoop2:/etc/  //第二台
输入密码即可上传。
scp /etc/profile hadoop3:/etc/    //第三台
scp /etc/profile hadoop4:/etc/    //第四台

最后加载一下环境变量:
source /etc/profile
//格式化节点
hadoop namenode -format

cd apps/
cd hadoop-2.6.4/
cd sbin
ll
进入该目录下会发现一个文件:hadoop-daemons.sh该文件是启动集群的一个脚本
启动集群:hadoop-daemon.sh start namenode

jps 查看进程
jps
namenode
只会发现这两个进程。
如何完成快速的,只需要启动一个脚本,就会把整个集群启动起来。
先关闭hadoop-daemons.sh
hadoop-daemon.sh stop namenode
接下来运行整个集群:
start-all.sh
此时输入jps 会发现几个进程 jps、 secondaryNameNode 、 ResourceManager 、NameNode  
在从节点输入jps会发现几个进程:jps 、NodeManager
这样,集群就启动好了。现在可以试着访问一下:
192.168.50.146.8088 (ip.8088)






    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多