原文链接:http://www.cnblogs.com/devtao/p/3389079.html
尝试进入大数据领域开发,从目前最火的Hadoop入手是必须的,本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试2.1安装失败,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的hadoop 1.2.1版本。 ----------------------------------------单机模式----------------------------------------- 下载:hadoop-1.2.1.tar.gz 解压: [plain] view plaincopy
转移:
[plain] view plaincopy
进入conf文件夹hadoop-env.sh配置环境变量
让环境变量配置生效source,是source,不是sh,补充下sh和.的区别,参考 [plain] view plaincopy
检测是否安装成功
单机版hadoop安装成功,测试一下 [html] view plaincopy
运行wordcount程序并将结果保存到output hadoop hadoop-examples-1.2.1.jar 错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar hadoop jar hadoop-examples-1.2.1.jar wordcount input output 发现错误,粗心害死猫....修改后运行,OK! 单机模式成功, 接下来搭建伪分布式 -------------------------------------------华丽的分割线 伪分布式----------------------------------------- hadoop目录下创建以下目录: [plain] view plaincopy
[plain] view plaincopy
[plain] view plaincopy
[plain] view plaincopy
[plain] view plaincopy
启动Hadoop: 执行执行bin/start-all.sh来启动所有服务,包括namenode,datanode,start-all.sh脚本用来装载守护进程 [plain] view plaincopy
用java的jps命令验证是否安装成功: [plain] view plaincopy
少一个DataNode进程没有启动,通过查看上边现实的路径下的日志发现: 很明显,data文件夹的权限不对,修改权限: [plain] view plaincopy
关闭hadoop,重新启动: [plain] view plaincopy
检查运行状态:可以通过下面的操作来查看服务是否正常,在Hadoop中用于监控集群健康状态的Web界面 http://localhost:50030/jobtracker.jsp - JobTracker状态
hadoop的伪分布模式已经安装成功,再次在伪分布模式下运行一下WordCount来感受MapReduce过程: 这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:
首先在dfs中创建input目录 [plain] view plaincopy
[plain] view plaincopy
[plain] view plaincopy
INFO mapred.JobClient: map 100% reduce 0% 到这里卡死不动了。 解决办法:查询鸟文论坛帖子(http:///questions/10165549/hadoop-wordcount-example-stuck-at-map-100-reduce-0)发现,修改/etc/hosts文件,加入主机名和IP地址的映射。 检查主机名: [plain] view plaincopy
修改/etc/hosts文件: 重新来过: [plain] view plaincopy
依旧不起作用...........重启,再重新来过.................ok!!! oK!!看见没有,你成功了!!!!!! 检测一下输出信息: [plain] view plaincopy
ok!!此时伪分布式系统环境已可以正常使用~~~! YOU GET YOUR FOOT IN THE DOOR! 转载于:https://www.cnblogs.com/devtao/p/3389079.html 来源:https://www./content-3-375101.html |
|