| 共 10 篇文章 |
|
b、双分区建表语句：create table day_hour_table (id int, content string) partitioned by (dt string, hour string);双分区表，按天和小时分区，在表结构中新增加了dt和hour两列。ALTER TABLE table_name ADD partition_spec [ LOCATION ''location1'' ] partition_spec [ LOCATION ''location2'' ] ...par... 阅42 转0 评0 公众公开 15-06-09 09:02 |
假设rowKey原本是自增长的long型，可以将rowkey转为hash再转为bytes，加上本身id 转为bytes,组成rowkey，这样就生成随便的rowkey。1.取样，先随机生成一定数量的rowkey,将取样数据按升序排序放到一个集合里 2.根据预分区的region个数，对整个集合平均分割，即是相关的splitKeys. 3.HBaseAdmin.createTable(HTableDescriptor tableDescripto... 阅100 转0 评0 公众公开 15-06-08 09:10 |
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解发表于2014-02-17 11:55| 12278次阅读| 来源CSDN博客| 5 条评论| 作者张震摘要：通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式... 阅330 转4 评0 公众公开 15-06-06 11:56 |
深度分析如何在Hadoop中控制Map的数量深度分析如何在Hadoop中控制Map的数量。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导致崩溃。在Hadoop中，设置Map task的数量不像设置Reduce task数量那样直接，... 阅36 转0 评0 公众公开 15-05-31 18:15 |
//params byte[] b1, byte[] b2 RawComparator<IntWritable> comparator = WritableComparator.get(IntWritable.class);如果WritableComparator.get()没有得到注册的Comparator，则会创建一个新的Comparator[其实是WritableComparator的实例]，然后当你使用 public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2)... 阅8 转自richsky 公众公开 15-05-31 14:52 |
[Hadoop源码解读]（四）MapReduce篇之Counter相关类。public static enum MY_COUNTER{ CORRUPTED_DATA_COUNTER, NORMAL_DATA_COUNTER };Counters counters = job.getCounters();Counter counter = counters.findCounter(MYCOUNTER.CORRUPTED_DATA_COUNTER);Counter对应我们写的enum类型中的一个枚举常量，比如MY_COUNTER.CORRUTED_DATA_... 阅1 转自richsky 公众公开 15-05-31 14:51 |
[Hadoop源码解读]（三）MapReduce篇之Job类。} public void killTask(TaskAttemptID taskId) throws IOException { ensureState(JobState.一个Job对象有两种状态，DEFINE和RUNNING，Job对象被创建时的状态时DEFINE，当且仅当Job对象处于DEFINE状态，才可以用来设置作业的一些配置，如Reduce task的数量、InputFormat类、工作的Mapper... 阅8 转自richsky 公众公开 15-05-31 14:51 |
public class InverseMapper<K, V> extends Mapper<K,V,V,K> { /** The inverse function. Input keys and values are swapped.*/ @Override public void map(K key, V value, Context context ) throws IOException, InterruptedException { context.write(value, key);public void run(Context cont... 阅1 转自richsky 公众公开 15-05-31 14:51 |
// generate splits List<InputSplit> splits = new ArrayList<InputSplit>();} /** * Logically splits the set of input files for the job, splits N lines * of the input as one split. * * @see FileInputFormat#getSplits(JobContext) */ public List<InputSplit> getSplits(JobCon... 阅1 转自richsky 公众公开 15-05-31 14:40 |
