Hadoop Ecosystem Map Hadoop的“生态圈” Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。
HDFS的架构: 主从结构: 主节点,只有一个:namenode 从节点,有很多个:datanodes namenode负责: 接受用户操作请求(如创建文件夹,删除移动遍历等) 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间的关系 datanode负责 存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本 MapReduce的架构 主从架构 主节点,只有一个:JobTracker 从节点,有很多个:TaskTrackers JobTraker负责: 接受客户提交的计算任务 把计算任务分给TaskTrackers执行 监控TaskTracker的执行情况 TaskTracker负责: 执行JobTracker分配的计算任务 Hadoop集群的物理分布 单节点物理结构 Master node运行的是:JobTracker,NameNode; Slave node运行的是:TaskTracker,DataNode; Hadoop部署方式 本地模式 伪分布模式 集群模式 (伪分布部署用来学习测试)安装前准备软件 VitualVox rhel-server-6.3-i386-dvd.iso jdk-6u24-linux-xxx.bin hadoop-1.1.2.tar.gz |
|
来自: niefeng2011 > 《个人笔记》