| 共 9 篇文章 |
|
HBase 性能优化笔记。hbase中hfile的默认最大值(hbase.hregion.max.filesize)是256MB，而google的bigtable论文中对tablet的最大值也推荐为100-200MB，这个大小有什么秘密呢？其次，从flush和compaction方面说，目前版本的hbase，在flush和compaction都是以region为单位的，也就是说当一个family达到flush条件时，该region的所有family所属的mem... 阅89 转0 评0 公众公开 15-04-21 13:11 |
hbase.regionserver.handler.count默认值：10说明：RegionServer的请求处理IO线程数。默认值：0.4/0.35upperlimit说明：hbase.hregion.memstore.flush.size 这个参数的作用是当单个Region内所有的memstore大小总和超过指定值时，flush该region的所有memstore。默认值：2说明：当一个region里的memstore占用内存大小超过hbase.hregion.memstore.... 阅55 转0 评0 公众公开 15-04-21 13:10 |
阅377 转0 评0 公众公开 14-11-08 13:40 |
} } public static void selectRowKeyFamily(String tablename, String rowKey, String family) throws IOException { HTable table = new HTable(configuration, tablename);} } public static void selectRowKeyFamilyColumn(String tablename, String rowKey, String family, String column) throws IOException { HTable table = new HTabl... 阅55 转0 评0 公众公开 14-11-08 13:32 |
Hbase数据模型。4、Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。RegionServer容错：定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上，失效服务器上“预写”日志由主服务器进行分割并派送给新的RegionServerZookeeper容错：Zookee... 阅334 转4 评0 公众公开 14-09-19 13:39 |
hfile是hbase中存储数据的文件，图1描述了hfile文件格式。hfile文件由6部分组成：data block，meta block(可选)，file info，data block index，meta block index，trailer。data block存储了表数据，meta block存储了布隆过滤器索引数据，file info存储了本文件的相关信息，index存储了datablock和metablock的索引数据，trailer存储了本文件的... 阅39 转0 评0 公众公开 14-09-19 12:25 |
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。由于master只维护表和region的元数据，而不参与表数据IO的过程，master下线仅导致所有元数据的修改被冻结(无法创建删除表，无法修改表的schema，无法进行region的负载均衡，无法处理region上下线，无法进行region的合并，唯一例外的是region的sp... 阅336 转1 评0 公众公开 14-09-19 11:09 |
通过调用HTable.put(Put)方法可以将一个指定的row key记录写入HBase，同样HBase提供了另一个方法：通过调用HTable.put(List<Put>)方法可以将指定的row key列表，批量写入多行记录，这样做的好处是批量执行，只需要一次网络I/O开销，这对于对数据实时性要求高，网络传输RTT高的情景下可能带来明显的性能提升。有关BlockCache机制，请参考... 阅9659 转84 评0 公众公开 14-09-19 10:20 |
HBase/Hadoop学习笔记。具体一点，细一点说，单只HBase中ZooKeeper实例负责的工作就有：存储HBase的Schema，实时监控HRegionServer,存储所有Region的寻址入口，当然还有最常见的功能就是保证HBase集群中只有一个Master。Hadoop、ZooKeeper和HBase之间应该按照顺序启动和关闭：启动Hadoop—>启动ZooKeeper集群—>启动HBase—>停止HBase... 阅276 转3 评0 公众公开 14-09-19 10:10 |
