配色: 字号:
大讲台筛选,Hadoop安装端口被占用解决方法
2016-03-09 | 阅:  转:  |  分享 
  
大讲台筛选,Hadoop安装端口被占用解决方法

在测试安装hadoop的时候,通常会遇到大家在同一批机器上安装hadoop的情况,

这样的话会有端口已经被占用导致安装不成功的情况出现。

Hadoop日志会提示这种错误:

ERRORorg.apache.hadoop.mapred.TaskTracker:Cannotstarttasktracker

becausejava.net.BindException:Addressalreadyinuse

在这种情况下,大讲台专业Hadoop培训。最好的方法就是在配置环境时把所

有的端口配置都进行修改。



在hadoop0.20版本会涉及到3个配置文件:

core-site.xml:

1:

2:fs.default.name

3:hdfs://master:9100

4:

5:为默认hdfs文件访问URI

6:

7:

hdfs-site.xml

1:

2:dfs.datanode.address

3:0.0.0.0:50011

4:

5:默认为50010,是datanode的监听端口

6:

7:

8:

9:dfs.datanode.http.address

10:0.0.0.0:50076

11:

12:默认为50075,为datanode的httpserver端口

13:

14:

15:

16:dfs.datanode.ipc.address

17:0.0.0.0:50021

18:

19:默认为50020,为datanode的ipcserver端口

20:

21:

mapred-site.xml

1:

2:mapred.job.tracker

3:master:9101

4:

5:jobtracker运行的位置和端口

6:

7:

8:

9:

10:mapred.task.tracker.http.address

11:0.0.0.0:50061

12:

13:默认为50061,是tasktracker的httpserver端口

14:

15:

以上端口都配置为和其他人不冲突的端口,然后启动hadoop就可以顺利启动

了。

PS:

1:如果遇到这种错误:

ERRORorg.apache.hadoop.mapred.TaskTracker:Cannotstarttasktracker

becauseorg.apache.hadoop.ipc.RemoteException:java.io.IOException:Unknown

protocoltonamenode:org.apache.hadoop.mapred.InterTrackerProtoco

说明你在core-site.xml中fs.default.name的端口和mapred-site.xml中

mapred.job.tracker中端口配置为完全相同的了,请修改为不同端口。

2:如果遇到这种:

error:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete

/tmp/hadoop-*/mapred/system.Namenodeisinsafemode.

请不要急,NameNode会在开始启动阶段自动关闭安全模式,然后启动成功。

如果你不想等待,可以运行:

bin/hadoopdfsadmin-safemodeleave强制结束。

解释:安全模式

NameNode启动时会从fsimage和edits日志文件中装载文件系统的状态信息,

接着它等待各个DataNode向它报告它们各自的数据块状态,这样,NameNode

就不会过早地开始复制数据块,即使在副本充足的情况下。这个阶段,NameNode

处于安全模式下。大讲台,专业Hadoop培训。NameNode的安全模式本质上是

HDFS集群的一种只读模式,此时集群不允许任何对文件系统或者数据块修改的

操作。通常NameNode会在开始阶段自动地退出安全模式。如果需要,你也可以

通过’bin/hadoopdfsadmin-safemode’命令显式地将HDFS置于安全模式。

NameNode首页会显示当前是否处于安全模式。关于安全模式的更多介绍和配置

信息请参考JavaDoc:setSafeMode()。



献花(0)
+1
(本文系zhensg2008首藏)