map/reduce数量的多少是如何决定的？
input目录下文件的大小和数量决定map任务的数量
a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数
b) 假设input目录下有3个文件a,b,c,大小分别为10m，20m，130m，那么hadoop会分隔成4个块（10m,20m,128m,2m）,从而产生4个map数。即，如果文件大于块大小(128m),那么会拆分，如果小于块大小，则把该文件当成一个块。
不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
参数1：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
参数2：hive.exec.reducers.max（每个任务最大的reduce数，默认为999）
计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1)
调整map/reduce数量
map/reduce的数量不是越多越好，启动和初始化的时间会远远大于逻辑处理的时间，造成资源浪费。
在map执行前合并小文件，减少map数
调整hive.exec.reducers.bytes.per.reducer参数的值
调整set mapred.reduce.tasks = 15参数的值
|
