| 共 18 篇文章 |
|
hbase的coprocessor使用1.起因(Why HBase Coprocessor)HBase有很多种事件可以触发观察者方法，这些事件与方法从HBase0.92版本起，都会集成在HBase API中。<property> <name>hbase.coprocessor.user.region.classes</name> <value>org.apache.hadoop.hbase.coprocessor.(2)添加aggregation hbase> alter ''... 阅5250 转43 评0 公众公开 13-03-20 09:09 |
HBase技术介绍HBase简介。2. HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。HBase中有两张特殊的Table，-ROOT-和.META.HBase Table和Region的关系，比较类似HDFS File和Block的关系，HBase提供了配套的TableInputFormat和TableOutputFormat API，可以方便的将HBase Table作为Hadoop MapReduce的Source和Sink，对于M... 阅151 转1 评0 公众公开 13-01-06 15:13 |
第二层root region是.META.表的第一个region其中保存了.META.z表其它region的位置。region server下线。由于master只维护表和region的元数据，而不参与表数据IO的过程，master下线仅导致所有元数据的修改被冻结(无法创建删除表，无法修改表的schema，无法进行region的负载均衡，无法处理region上下线，无法进行region的合并，唯一例外的是regio... 阅128 转0 评0 公众公开 13-01-06 15:08 |
最终用户的请求被push到InvocationHandler h这个参数的invoke方法，系统将method以及args这两个参数进行序列化，通过网络传输到server端。最终用户的请求被push到InvocationHandler h这个参数的invoke方法，系统将method以及args这两个参数进行序列化，通过网络传输到server端（实例化Invoker的同时会实例化一个Client类实例，这个client主要负... 阅84 转0 评0 公众公开 12-12-26 10:30 |
HDFS文件系统结构解析NameNode节点是就是HDFS的大脑。1. 文件系统的命名空间(文件目录树) 主要是 文件和Block映射关系 (保存在FSDirectory) 2. Block 和 INodeFile &DataNode的映射关系 (保存在FSNamesystem)文件系统 FSNamesystem FSNamesystem 主要有两个对象：文件系统(FSDirectory)根节点rootDir 和BlocksMap映射表 (Block -> { ... 阅29 转自Allen Joe 公众公开 12-12-26 10:26 |
//该文件中包含的所有Block，这些对象并不包含实际的文件block内容，主要的属性为blocks，后续通过blockID和时间戳信息可以找到这些Block存在哪台datanode机器上，客户端直接与该datanode建立链接，请求这个BockID对应的Block中具体文件内容数据（后续再讲,该字段为关键字段）Block信息的读取就是client通过网络传递一个序列化的block对象到Dat... 阅866 转5 评0 公众公开 11-08-30 22:28 |
Hadoop 解除 "Name node is in safe mode"2010年07月14日 星期三 16:52之前在hadoop执行过程中使用了"ctrl+c"操作再次使用hadoop时出现"Name node is in safe mode"提示：root@v-jiwan-ubuntu-0:~/hadoop/hadoop-0.20.2# bin/hadoop fs -put conf inputput: org.apache.hadoop.hdfs.server.namenode.SafeModeExc... 阅1916 转3 评0 公众公开 11-08-30 22:26 |
Hadoop节点热拔插（添加 删除节点）Hadoop节点热拔插（添加 删除节点）一、 Hadoop节点热拔插。在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。2.在集群中添加节点：cd $HADOOP_HOME &&bin/hadoop-daemon.sh start datanode &&bin/hadoop-daemon.sh start tasktracker。3. 从集群中移走节点，且对移走节点的数据... 阅1170 转2 评0 公众公开 11-08-27 17:16 |
Hadoop的基础配置文件是hadoop-default.xml，看Hadoop的代码可以知道，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置（这个文件初始的时候配置为空），hadoop-site.xml中主要配置你需要覆盖的hadoop-default.xml的系统级配置，以及你需要在你的MapReduce过程中使用的自定... 阅408 转9 评0 公众公开 11-08-10 11:13 |
JobTracker启动任务时通过每一个TaskInProgress来launchTask，这时会把Task对象（即MapTask和ReduceTask）序列化写入相应的TaskTracker服务中，TaskTracker收到后会创建对应的TaskInProgress（此TaskInProgress实现非JobTracker中使用的TaskInProgress，作用类似）用于监控和调度该Task。Task的执行实际是由TaskTracker发起的，TaskTracker会定... 阅1351 转10 评0 公众公开 11-08-09 21:55 |
