| 共 10 篇文章 |
|
如果是新建的HDFS 集群，则应首先格式化一个NameNode ，或者想把非HA 集群转换为HA 集群，按照dfs.namenode.name.dir 、dfs.namenode.edits.dir 的配置把当前NameNode 节点的元数据目录复制到另一个NameNode. 还应该确保共享存储目录下(dfs.namenode.shared.edits.dir ) 包含NameNode 所有的元数据。 阅54 转0 评0 公众公开 15-01-28 23:20 |
Hadoop 新 MapReduce 框架 Yarn 详解Hadoop 新 MapReduce 框架 Yarn 详解。${hadoop_home_dir}/etc/hadoop/./bin/hadoop dfs -rmr /user/oracle/dfs/output* ./bin/hadoop dfs -rmr /user/oracle/dfs/input ./bin/hadoop dfs -mkdir /user/oracle/dfs/input ./bin/hadoop dfs -copyFromLocal ./input/*.log /user/oracle/dfs/input/ ./bin/hado... 阅1 转自見龍在田 公众公开 15-01-28 22:41 |
Hadoop版本选择探讨 Hadoop版本选择探讨由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。1. Apache Hadoop1.1 Apache版本衍化。截至目前为止，CDH共有4个版本，其中，前两个已经不再更新，最近的两个，分别是CDH3（在Apache Hadoop 0.20.2版本基础上演化而来的）和CDH4在Apache Hadoop 2.0.0版本基础上演化而来的... 阅1 转自見龍在田 公众公开 15-01-28 22:39 |
Hadoop之RPCHadoop之RPC Hadoop的RPC主要是通过Java的动态代理（Dynamic Proxy）与反射（Reflect）实现，代理类是由java.lang.reflect.Proxy类在运行期时根据接口，采用Java反射功能动态生成的，并且结合java.lang.reflect.InvocationHandler来处理客户端的请求，当用户调用这个动态生成的实现类时，实际上是调用了InvocationHandler实现类... 阅123 转1 评0 公众公开 14-11-22 22:03 |
可以看到Master整体就两部分工作，对内部任务的管理维护，对外部slave请求的处理（请求获取任务，返回处理后的结果（Slave也可以不返回结果，根据Job定义来判断，防止Master变重））。Slave更为单纯，整个生命周期就是获取任务，分析任务，返回任务结果的一个环，内置一个分析引擎和交互组件，根据任务的定义来无差别化的处理各种分析工作（Job... 阅681 转3 评0 公众公开 14-11-22 16:52 |
Hadoop文件系统中通过Hadoop Path对象来代表文件（而非java.io.file对象）你可以将一条路径视为一个Hadoop文件系统URI。（2）DistributedFileSystem 对namenode创建一个RPC调用，在文件系统的命名空间中创建一个新文件，此时该文件中还没有相应的数据块，namenode执行各种不同的检查以确保这个文件不存在，并且客户端有创建该文件的权限。，检... 阅77 转0 评0 公众公开 14-11-22 16:14 |
[~/hadoop/hadoop-1.2.1/conf]$hadoop fsck /user/huangxing/input files blocks。-rw-rw-r-- 1 huangxing huangxing 1501 3月 1 01:24 fsimage.-rw-rw-r-- 1 huangxing huangxing 11 2月 27 23:09blk_-1148524011628330155_1020.meta.-rw-rw-r-- 1 huangxing huangxing 513K 3月 1 01:29 blk_2941913032423535550_2280.meta.-rw-rw-... 阅531 转1 评0 公众公开 14-11-20 19:55 |
在这个集群中，数据存储在集群的节点（即集群中的服务器）中，但是该文件系统把服务器的差异给屏蔽了，但是数据分布在不同的服务器中，分布在不同节点上的数据可能是属于同一个文件，为了组织众多的文件，把文件放到不同的文件夹中，文件夹可以一级一级的包含。运行这些管理职责代码的节点称为主节点（master node），运行第一二阶段程序代码的... 阅217 转1 评0 公众公开 14-11-20 19:47 |
hadoop框架详细分析。此外，Hadoop 还提供一个分布式文件系统(HDFS）及分布式数据库（HBase）用来将数据存储或部署到各个计算节点上。如下图所示，便是hadoop的内部结构，我们可以看到，海量的数据交给hadoop处理后，在hadoop的内部中，正如上文所述：hadoop提供一 个分布式文件系统（HDFS）及分布式数据库（Hbase）用来存储或部署到各个计算点... 阅717 转7 评0 公众公开 14-11-20 18:46 |
《Hadoop基础教程》之初识Hadoop.《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想... 阅75 转0 评0 公众公开 14-11-20 18:40 |
