|
【伪分布模式安装步骤】 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装jdk 安装hadoop =================================================== 查看当前目录 pwd ①重启网卡 service network restart ②查看IP ifconfig ③查看主机名 hostname ④修改主机名为XX hostname XX （当前会话生效，重启失效，要在配置中修改） ⑤永久修改步骤： 1：vi /etc/sysconfig/hostname/network 2: 按I进入编辑-->把名字改下XX-->Esc-->shift+: --> wq保存退出(q!是退出) ⑥重启linux reboot -h now ⑦删除文件夹 rm -rf xx ⑧新建一个XX文件用VI编辑 vi XX ⑨查看XX文件more xx: more xx (如果VI编辑的时候没有正常保存退出，那么下次VI编辑的时候会提示一个交换文件.swp.XX 这个文件是个隐藏文件需要 ls -a查看) ①删除该隐藏文件： rm .XX.swp ②清屏： clear ③建立IP映射域名/主机名互相绑定 1：vi /etc/hosts 2: 进行修改:I-->IP 域名/主机名 3：Esc-->shift+: wq保存退出 ④测试IP/主机名/域名是否畅通 ping XX ⑤查看防火墙状态 service iptables status ⑥关闭防火墙 service iptables stop ⑦查看所有服务的启动类型 chkconfig --list ⑧管道过滤查看具体服务的启动 chkconfig --list | grep XX (其中只要有一个启动级别为on ，就以为这能重启) ⑨把某个服务启动的所有级别调整成off（关闭） chkconfig iptables off 《1》SSH(Secure Shell）进行免密码登陆步骤： （进入SSH例子：ssh localhost-->yes-->主机密码（退出SSH用exit）） <1>进入 cd~/.ssh/ <2>秘钥产生 ssh-keygen -t rsa (key秘钥gen产生 rsa加密方式（这种加密方式金融届也是使用的）) <3>一直按回车。。 --->直到产生公钥和秘钥 <4>查看生成的公钥秘钥 ls (id_rsa秘钥 id_rsa.pub公钥) <5>通过more XX查看内容 more id_rsa / more id_rsa.pub <6>把公钥送给B（这里没有B就送给自身）的专门文件 cat id_res.pub >> authorized_keys (把id_res.pub 写到 authorized.keys这个公钥文件中) <7>再次进入已设置好公钥秘钥的主机 ssh localhost (发现不需要密码了) ssh hadoop0(发现也不需要密码了) 《2》通过WinSCP把hadoop-1.1.2.tar.gz和jdk-6u24-linux-i586.bin复制到linux下的/root/Downloads <1>打开/usr/local/ cd /usr/local/ <2>如果不重要吧所有的删除 rm -rf * <3>把Downloads下的JDK复制过来 cp /root/Downloads/jdk-****.bin . (.代表当前目录) <4>用./XX解压该jdk发现没权限查看ls -l ,发现-rw-r****(-r只读) <5>授权 chmod u+x jdk-6*****.bin <6>可以进行解压缩 ./jdk****.bin(jdk+tab就可以补全整个文件名，没权限前不能) <7>重命名jdk（因为名字过长） mv jdk***(解压文件名) jdk(重命名) <8>设置环境变量把JDK放进去 vi /etc/profile <9>在上面空白行加入： export JAVA_HOME=/USR/local/jdk export PATH=.:$JAVA_HOME/bin:$PATH (.当前:分隔符 后面的$PATH一定要加上) <10>为了立即生效执行source source /etc/profile <11>查看是否安装成功 java -version 《3》安装hadoop <1>把hadoop拷到当前目录/usr/local/ cp /root/Downloads/hadoop****.tar.gz . <2>删除刚才的jdk.bin rm -rf *.bin <3>解压缩hadoop tar -xzvf hadoop-1.1.2.tar.gz <4>重命名解压文件夹名 mv hadoop-1.1.2 hadoop <5>设置hadoop的环境变量 vi /etc/profile/ 加入export HADOOP_HOME=/usr/local/hadoop 修改export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 保存退出wq(WQ会出错) 【伪分布配置】 <6> 进入/usr/local/hadoop/conf通过编辑器修改四个配置文件 ①修改hadoop-env.sh,内容如下 export JAVA_HOME=/usr/local/jdk/ ②修改core-site.xml,内容如下 <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop0:9000</value> <description>change your own hostname</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> ③修改hdfs-site.xml,内容如下 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> ④修改mapred-site.xml,内容如下 <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop0:9001</value> <description>change your own hostname</description> </property> </configuration> <7>格式化hadoop hadoop namenode -format (成功后也会有个Waring:$HADOOP_HOME is deprecated.) <8>启动，执行命令 start-all.sh(位于hadoop/bin/目录下) （ localhost:starting datanode localhost:starting secondarynamenode localhost:starting jobtracker localhost:starting tasktracker ） ( jps 查看java进程) <9>查看jps验证是否启动，java进程除了jps还有五个Namenode,SecondaryNameNode,datanodes;jobtracker,tasktracker表示成功 （注意：格式化操作不能多次执行。如果想重新格式化要先删除一个文件夹/usr/local/hadoop/tmp之后再执行格式化） <10>可以在物理机window下查看hadoop(***.***.***.***:50070,可以修改window/system32/drivers/etc/hosts把IP绑定简短的主机名) ( ****:50070端口打开的是namenode ****:50030端口打开的是Jobtracker ) <11>停止hadoop运行 stop-all.sh <12>去掉警告步骤：（因为hadoop启动变量中规定要有值，没有就会警告） ①用vi编辑环境变量设置 vi /etc/profile ②加入 export HADOOP_HOME_WARN_SUPPRESS=1 ③立即执行 source /etc/profile (如果不source,马上去检测依然会有警告) |
|
|
来自： niefeng2011 > 《个人笔记》
