技术分享：Hive基础重点知识+优化

　　Hive基础

　　Hive简介：(1)hql相对于MR程序没有复杂的代码，上手简单，会写sql的同学，hql也不在话下，区别不是很大。(2)Hive作为数据仓库使用，工作中常用的就是数据的查询(select)和加载(insert)

　　1、 内部表和外部表的区别：内部表删除元数据和真实数据，外部表只删除元数据

　　2、 一般创建内部表的时候，不指定location的位置，一般放在默认的hive仓库路  径：/user/hive/warehouse/;外部表最好指定location

　　3、存储格式：(1)、textfile：默认存储格式，行存储，磁盘和数据解析开销大，压缩的text文件 hive无法进行合并和拆分。(2)、sequencefile：二进制键值对行存储，可分割，压缩，一般选择block压缩，优势是文件和hadoop api mapfile是相互兼容的。(3)、rcfile：存储方式：数据按行分块，每块按照列存储，压缩快，快速列存取，读记录尽量涉及到的block最少 ，读取需要的列只需要读取每个row group的头部定义，读取全量数据的操作性能可能比sequencefile没有明显的优势。(4)、orc：存储方式：按行分块，按列存储，压缩快，快速列存取，效率的rcfile高，改良版。(5)、自定义格式：可以通过实现inputformat来定义输入输出格式

　　4、常用语句(我就不分类了)：(1)、查询表结构： desc 表名; (2)、显示库：show databases; (3)、选择库：use 库名; (4)、显示库下所有表：show tables; (5)、查询创表语句：show create table 表名; (6)、查询 select 字段 from 表名 (join 表名 on 表连接条件) where 条件 group by 字段 having 条件 order by 字段 limit 数字 (7)、加载：load data local inpath /.txt into table 表名 (8)、插入数据：insert (override) table 表名 partition(分区字段) select ......

　　5、cluster by 和sort by 不能连用，distribute by age sort by id ; 分桶;left semi join  只显示左面的表 半连接效率高

　　6、经典的窗口函数：select * from(select a.movietype,a.movieid,b.avgrate,row_number() over(distribute by movietype sort by avgrate desc) as rn from result_8_1 a join result_8_2 b on (a.movieid=b.movieid)) ab where ab.rn=5;

　　7、窗口函数(三种)：row_number() over(distribute by sort by ) 12345 ;rank() over() 12335 ; dense_rank() over() 12334

　　8、执行顺序：from-where -group by -having- select-distinct- 别名- order by -

　　9、hql中 select中的字段必须要在group中存在，否则报错(其实就算不报错，这语句也没什么意义)

　　10、hive -i 脚本 初始化命令; hive -e sql; hive -f 脚本 -hiveconf hive.exec.mode.local.auto=true ; hive -S 只输出结果

　　11、group by 和 join 容易数据倾斜,数据倾斜的原因： shuffle 阶段 造成reduce 分配不均,数据倾斜直接结果：效率低，闲置资源多，任务错误指数上升

　　12、常用的日期函数，字符串处理函数，自行搜索，网上很多，这个工作中使用特别多

　　13、一些常用函数：concat、concat_ws、instr、substr ，聚合函数max、count等等

　　14、写脚本时可能和python 连用，需要加 add file *.py SELECT TRANSFORM(tmp.*)

　　USING 'python *.py'

　　Hive优化

　　1、多表连接join 会缓存左边的表 小表写前面

　　2、笛卡尔积优化：构造随机连接，有多少不同连接，就复制多少份小表缓存到内存中，在和大表join，只要内存够就可以进行mapjoin

　　3、set hive.exec.mode.local.auto=true; 本地模式

　　set hive.merge.mapfiles = true ## 在 map only 的任务结束时合并小文件

　　set hive.merge.mapredfiles = false ## true 时在 MapReduce 的任务结束时合并小文件

　　set hive.merge.size.per.task = 256000000 ## 合并文件的大小

　　set mapred.max.split.size=256000000; ## 每个 Map 最大分割大小

　　set mapred.min.split.size.per.node=1; ## 一个节点上 split 的最少值

　　set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;s## 执行 Map前合并小文件

　　设置maptask数量

　　long splitSize = Math.max(minSize, Math.min(maxSize, blockSize))输入的分片大小(取中)

　　1 、 减少 MapTask 数是通过 合并小文件来实现 ，这一点主要是针对数据源

　　2 、 增加 MapTask 数可以通过控制上一个 job 的 reduceTask 个数set

　　set mapred.job.reuse.jvm.num.tasks=5 需要重用jvm，JVM的启动时间会变成一个比较大的消耗

　　设置reduceTask 的 数量

　　1、hive.exec.reducers.bytes.per.reducer(默认为 256000000)

　　2、hive.exec.reducers.max(默认为 1009)

　　3、mapreduce.job.reduces=-1(设置一个常量 reducetask 数量)

　　依据 Hadoop 的经验，可以将参数 2 设定为 0.95*( 集群中 datanode 个数)

　　数据倾斜join优化

　　set hive.skewjoin.key=100000; // 这个是 join 的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置

　　set hive.optimize.skewjoin=true; // 如果是 join 过程出现倾斜应该设置为 true

　　group by 优化 (MapReduce 的 combiner 组件)

　　set hive.map.aggr = true 是否在 Map 端进行聚合，默认为 True

　　set hive.groupby.mapaggr.checkinterval = 100000 在 Map 端进行聚合操作的条目数目

　　set hive.groupby.skewindata = true策略就是把 MR 任务拆分成两个：第一个先做预汇总，第二个再做 最终 汇总

　　并行化

　　set hive.exec.parallel=true;

　　set hive.exec.parallel.thread.number=8; // 同一个 sql允许并行任务的最大任务数

　　压缩

　　set hive.exec.compress.output=true // 默认值是 false，不压缩

　　set hive.exec.compress.intermediate=true // 默认值是 false，为 true 时 MR 设置的压缩才启用