|
Master： CPU：16CPU*4核 ;内存：128G-512G; HA 需要两台Namenode,配置一致！
Slave: CPU：8CPU*4核-16CPU*4核;内存：16G-24G128G-256G;配置最好一致,如果不一致,资源分配需要着重考虑！
LinuxOS: redhat 6.3 or CentOS 6.6,NameNode节点存储区做RAID1！Datanode节点磁盘JBOD安装，无RAID。Linux系统盘做RAID1
硬件配置如果存在一定的差异需要考虑资源利用率问题！特别注意有单点的问题的统一放到一台主机！
集中式Master，将SPOF单点集中到一起:Namenode HA,HMaster HA,Spark Master,JobTracker/ResourceManager HA ,Hive Metastore,HiveServer2,Impala StateStore,Catalog Server,impala-LLAMA HA,Oozie,Sentry,Hue
Slave,例如：Impalad,TaskTracker/Nodemanager,RegionServer,spark worker
计算资源统一交给yarn分配,所有的作业分组，按部门，不同的作业类型,划分不同
的资源池，每个部门和作业类型分组，放入不同的资源池处理.有关资源分配内容,
请参考《Yarn资源分配性能调优》，Map slot,Reduce slot这些值怎么来的,Yarn的资源池
,Hadoop-2.6新功能,Hadoop YARN新特性—label based scheduling,基于标签的调度策略！
怎么优化来提升性能，怎么合理利用资源！请参考更多相关文章！
如果你对初建Hadoop集群前期硬件配置,版本选择等还有疑问欢迎讨论！
|
