本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
1
clouderamanagerfree安装
clouderamanager可以简化Hadoop的安装配置过程，自动在集群节点上安
装hadoop相关组件，创建用户，并管理各个组件服务。本手册以cloudera
manager的free版本,以下5台机器为例安装hadoop集群:
192.168.106.36
192.168.106.37
192.168.106.38
192.168.106.39
192.168.106.40
1．安装clouderamanager
clouderamanager主服务只需要安装在集群的主节点上，本集群主节点
为192.168.106.36。通常安装clouderamanager只需从以下官网下载安装
文件（Cloudera-manager-installer.bin）：
https://www.cloudera.com/content/support/en/downloads.html
再修改权限：chmodu+xcloudera-manager-installer.bin
安装：sudo./cloudera-manager-installer.bin
之后一步步next即可完成安装。但是，在本集群中每次安装都报“段错误”，
导致无法继续安装，所以只能按照以下官网方法安装过往版本：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM
4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_olde
r_cm.html
1.1下载和编辑cloudera-manager.repo文件
A．在以下地址下载cloudera-manager.repo文件，保存在/apps/soft下：
http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/cloudera-m
anager.repo
B．编辑修改cloudera-manager.repo文件中的baseurl值，如果你想安装
4.5.4版本的cloudera-manager，那你就把baseurl值由原先的
baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64
/cm/4
修改为：
baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64
/cm/4.5.4
C.保存修改后的cloudera-manager.repo文件到/etc/yum.repos.d/目录
下
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
2
1.2安装JDK
检查安装Java-version
如果本机已经安装jdk，则跳过本步，否则按照以下语句安装：
yuminstalljdk
1.3为ClouderaManagerServer和服务安装数据库
A．安装mysql：
yuminstallmysql-server
B．安装完mysql后，启动msql语句：
servicemysqldstart
注：若启动不成功,需卸载mysql后再次安装即可，卸载方法：
查看mysql安装了多少相关包文件：rpm–qa|grepmysql
卸载上步中的所有包文件：yum–yremovexxxyyyzzz
C．安装MySQLJDBCConnector：
yuminstallmysql-connector-java
D．配置MySQL的root密码，如下步骤进行：
此处密码为:root
1.4为ClouderaManager建立MySQLDatabases
A．登陆mysql：
mysql-uroot–proot
(注意：如果之前搭建过cloudera_manager，此时再登入mysql后还需
要删除以前的database和用户表中的一些信息：
Database删除的只剩下：information_schema和mysql这两个
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
3
删除之前的用户：deletefromuserwhereuser<>''root'')
B．为Hivemetastore建database（用户名和密码都是hive）：
createdatabasehiveDEFAULTCHARACTERSETutf8;
grantallonhive.TO''hive''@''%''IDENTIFIEDBY''hive'';
（grantallonhive.TO''hive''@''%''IDENTIFIEDBY''hive'';
将hive的database的所有表赋给任意主机ip（%）的hive用户的
所有权限（all），密码是hive
flushprivileges;刷新，使之前的建表等有效）
C．为cloudera_manager建立database：
createdatabasecloudera_managerDEFAULTCHARACTERSETutf8;
GRANTALLPRIVILEGESON.TO''bi_hadoop''@''localhost''
IDENTIFIEDBY''bi_hadoop''WITHGRANTOPTION;
flushprivileges;
D．为ActivityMonitor、ServiceMonitor、ReportManager、HostMonitor、
ClouderaNavigator分别建立相应的database（还不清楚具体是做什么
用，先按照官网来建立）：
createdatabasehiveDEFAULTCHARACTERSETutf8;
grantallonhive.TO''hive''@''%''IDENTIFIEDBY''hive'';
createdatabaseamonDEFAULTCHARACTERSETutf8;
grantallonamon.TO''amon''@''%''IDENTIFIEDBY
''amon_password'';
createdatabasesmonDEFAULTCHARACTERSETutf8;
grantallonsmon.TO''smon''@''%''IDENTIFIEDBY
''smon_password'';
createdatabasermanDEFAULTCHARACTERSETutf8;
grantallonrman.TO''rman''@''%''IDENTIFIEDBY
''rman_password'';
createdatabasehmonDEFAULTCHARACTERSETutf8;
grantallonhmon.TO''hmon''@''%''IDENTIFIEDBY
''hmon_password'';
createdatabasenavDEFAULTCHARACTERSETutf8;
grantallonnav.TO''nav''@''%''IDENTIFIEDBY''nav_password'';
1.5安装ClouderaManagerServer
yuminstallcloudera-manager-daemons
yuminstallcloudera-manager-server
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
4
1.6配置ClouderaManagerServer数据库
cd/usr/share/cmf/schema/
shscm_prepare_database.shmysqlcloudera_managerbi_hadoopbi_hadoop
1.7启动ClouderaManagerServer
servicecloudera-scm-serverstart
到此ClouderaManagerServer安装完毕。1.3和1.4步安装和配置mysql
参照官网地址：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM
4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_mysql.ht
ml#cmig_topic_5_5
其余步骤参照官网地址：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM
4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_older_cm
.html
2.搭建及配置hadoop集群
完成上一步ClouderaManager安装后,接下来我们需要打开Cloudera
Manager服务来安装hadoop集群及需要的第三方的工具包。
2.1安装hadoop集群前的准备工作
2.1.1修改相关机器的hosts
在6台机器的/etc/hosts中，把hosts添加相关6台机器：
192.168.106.36WH-106-36
192.168.106.37WH-106-37
192.168.106.38WH-106-38
192.168.106.39WH-106-39
192.168.106.40WH-106-40
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
5
2.2.2关闭防火墙
在6台机器分别执行关闭防火墙语句：
serviceiptablesstop
2.2.3设置无密码登陆
在主节点106.36上把authorized_keys生成并复制到各个机器上（若无
此步骤则会出现“无法进行身份验证”错误）：
cd.ssh
ssh-keygen-trsa
catid_rsa.pub>>authorized_keys
scpauthorized_keys192.168.106.40/root/root/.ssh
2.2.4安装JDBC
不是每台机器都需要装jdbc（mysql-connector-java-5.1.17-6.el6.noarch），
因为现在计划106.40是hive的server，所有别的机器都是通过访问106.40来
进行hive操作，接着106.40上再连接106.36的hive元数据访问。所以，106.40
需要安装mysql-connector-java-5.1.17-6.el6.noarch,执行语句如下：
yuminstallmysql-connector-java-5.1.17-6.el6.noarch
2.2安装hadoop集群
2.2.1在浏览器输入ClouderaManager服务地址，进入服务。
地址：http://192.168.106.36:7180
用户名：admin
密码：admin
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
6
注：ClouderaManager对IE8及以下版本不支持，建议使用firefox、chrome
等浏览器。
2.2.2输入账号和密码并点击“登录”，进入安装界面
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
7
2.2.3点击“只安装最近的免费版本”，进入安装介绍
2.2.4点击“继续”，为CDH群集安装指定主机（本集群现为6台全选），如图
2.2.5点击“继续”，选择存储库
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
8
2.2.6点击“继续”，提供ssh登陆凭据。选择“root”，身份验证方法选择“所
有主机接受相同私钥”，密码短语为：root。私钥文件取自
106.36/.ssh/id_rsa文件内容，复制后保存在本机以供浏览上传，此处
我保存的文件名为PRIVATE_KEY。参见下两图
私钥内容获取：
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
9
2.2.7点击“继续”，进行安装集群，需要等待几分钟
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
10
2.2.8点击“继续”，集群进行“检查主机正确性”界面。本步骤会检查集群现
在各个状态，为之后的安装各个服务做准备（此处如果检查出黄色惊叹号
的警告错误，需要处理错误后再进行下一步）。
2.2.9主机检查无误后，点击“继续”，进入安装服务界面。选择“所有服务”，
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
11
并点击“检查角色分配”。
2.2.10为各个角色配置，设置计划安装在哪些服务器上
2.2.11角色分配完毕后，点击“继续”，进入“数据库设置”界面。数据库主
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
12
机名称为：WH-106-36，数据库类型为MySQL，数据库名称：hive,用户
名和密码都是hive（这些信息在本文1.4章节中建立）。填写完后点击
“测试连接”，如果成功会显示下图红框所示“Successful”，之后点击
“继续”。
2.2.12进入“审核配置更改”界面，大部分采用默认，注意datanode数据路
径要填所在服务器的大磁盘路径。配置完后点击“继续”。
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
13
2.2.13进入集群各服务启动界面
2.2.14集群服务全部启动后，点击“继续”，安装成功。
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
14
2.3删除主机节点
决定要摘除某个主机节点时，首先需要先把此节点上的服务先停掉：点击“主
机”，点击要摘掉的主机名称进入，再上部右侧，点击“操作”-->“主机取消配
置”。
之后，点击“主机”，勾选将要摘除的服务器名称，在页面上部点击“已选
定的操作”—>“删除”。
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
15
2.4添加服务
以添加某一服务，如zookeeper为例：点击“服务”—>“zookeeper”-->”
实例”，点击“添加”。
再在最后一列“服务器”列勾选需要添加本角色的服务器名称即可。
2.5添加新主机节点
2.5.1在“主机”界面，点击“向集群添加新主机”
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
16
2.5.2进入“添加主机向导”界面
2.5.3点击“继续”，进入“安装指定主机”界面，填入新节点IP，点击“搜索”
2.5.3点击“继续”，进入“存储库配置”界面，选择现有集群hadoop的版本
CDH3u5，点击“继续”
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
17
2.5.4“存储库配置”选定后，进入“ssh登陆凭证”界面，操作参照本文2.2.6
章节
2.5.5点击“继续”，cloudermanager会向集群添加新主机，与本文2.2.7章
节相同
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
18
2.5.6安装完成后，点击“继续”，进入“检查主机正确性”界面，与本文2.2.8
章节相同
2.5.7点击“继续”，进入“选择主机模板”界面，此处选“无”。本步骤创建
模板意为“某个服务器上安装哪些服务角色”之前先设置好，新服务如果
点选这个模板的话，就会按照这个模板中设置的角色来对应安装。此处先
选“无”，等安装完毕后，可以按照角色的需要来再在本新节点上添加服
务（添加新服务方法参照本文2.4章节）。
2.5.8点击“继续”，添加新节点完毕
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
19
2.5.9在新节点上配置所需角色，并启动服务（添加新服务方法参照本文2.4
章节）
3.日志及节点路径
3.1查看tasktracker的map和reduce情况
http://192.168.106.36:50060/tasktracker.jsp
本文档由61团团队发布，有问题可以QQ370740704,微信fattypatty111,微信公众号:bihadoop
20
3.2查看hdfs的各节点信息
http://192.168.106.36:50070/dfshealth.jsp
关注微信公众号:bihadoop
|
|
