|
第一部分：环境规划 用户 test 密码 test 机器
NameNode元数据目录 /home/test/dfs/namenode DataNode 数据存放目录 /home/test/dfs/datanode Sencondary NameNode /home/test/dfs/sencondnode 第二部分：安装JDK并配置环境变量 安装 JDK 并配置环境变量 2 台机器做同样的事情 更改执行权限 chmod +x jdk-6u24-linux-i586.bin 安装 ./jdk-6u24-linux-i586.bin 配置环境变量 Home路径下，打开.bashrc文件，命令如下 vi .bashrc 添加JAVA环境变量 export JAVA_HOME=/home/hadoop/java export PATH=$JAVA_HOME/bin:$PATH 第三部分：建立互信配置SSH 配置互信 每台机器上执行 $ ssh-keygen $ ssh-copy-id -i
~/.ssh/id_rsa.pub bigdata -1 $ ssh-copy-id -i
~/.ssh/id_rsa.pub bigdata-2 第四部分：安装Hadoop并配置环境变量 安装并配置Hadoop的环境变量 解压Hadoop，到/home/test路径下 tar zxvf hadoop- 建立软连接 ln –s hadoop- 配置环境变量 vi .bashrc 添加如下内容
export HADOOP_CORE_HOME=/home/test/ hadoop
export PATH=.:$HADOOP_CORE_HOME/bin:$PATH 第五部分：配置Hadoop集群 core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://bigdata-1:9000</value> </property> <property> <name>fs.checkpoint.dir</name>
<value>/home/test/dfs/sencondnode</value> </property> </configuration> hdfs-site.xml <configuration> <property>
<name>dfs.name.dir</name>
<value>/home/test/dfs/namenode </value> </property> <property>
<name>dfs.data.dir</name>
<value> >/home/test/dfs/datanode</value> </property> <property>
<name>dfs.replication</name>
<value>1</value> </property> </configuration> mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>bigdata-1:9001</value> </property> </configuration> master与slaves master 文件添加内容如下
bigdata-1 Slaves 文件添加内容如下
bigdata-2 Hadoop-env.sh export JAVA_HOME=/home/tes/soft/java 第六部分：启动Hadoop集群 启动Hadoop集群 hadoop namenode -format start-all.sh start-dfs.sh start-mapred.sh hadoop-deamon.sh start namenode
datanode
jobtracker
tasktracker
sencondnamenode 第七部分：测试WordCount 程序 测试WordCount 程序 hadoop fs –mkdir input hadoop fs –put test.txt input hadoop jar hadoop-examples-*.jar
wordcount input output
|
|
|
