分享

Hadoop 安装(单机版)

 余香阁 2021-05-27

1 下载安装

[官网下载链接](<https://hadoop./releases.html> )

1.1  这里选择安装的是2.9.2,使用下面命令进行下载:

# cd ~/softwarewget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

1.2  解压重命名:

tar -xzvf hadoop-2.9.2.tar.gzmv hadoop-2.9.2 hadoop

1.3  配置环境变量:

使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
export HADOOP_HOME=/software/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使用source命令使配置生效:source ~/.bashrc
可以使用echo $PATH 输出查看是否正确

2  简单配置

2.1 配置core-site.xml

文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml

命令:

cd /software/hadoop/etc/hadoopvim core-site.xml

配置如下:

<configuration> <!-- 指定运行端口 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 指定临时目录 --> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property></configuration>

2.2 配置hdfs-site.xml

文件位置:$HADOOP_HOME/etc/hadoop/hdfs-site.xml

命令:

cd /software/hadoop/etc/hadoopvim hdfs-site.xml

配置:

<configuration> <!-- 备份数量 --> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>

2.3  配置mapred-site.xml

文件位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

命令:

cd /software/hadoop/etc/hadoop# 复制并重命名cp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml

配置:

<configuration> <!-- 配置资源管理器 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>

2.4  配置

文件位置:$HADOOP_HOME/etc/hadoop/yarn-site.xml

命令:

cd /software/hadoop/etc/hadoopvim yarn-site.xml

配置:

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>

3  启动Hadoop

# 第一次,格式化namenodehdfs namenode -format# 运行HDFSstart-dfs.sh# 运行yarnstart-yarn.sh# 查看运行状况(前提是安装jdk并配置环境变量)jps# 停止hdfsstop-dfs.sh# 停止yarnstop-yarn.sh

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多