|
|
| 大数据开源架构CDH基本搭建 |
|
|
|
|
CDH安装过程
官网linux系统建议：
jdk1.7以上
内存最好8G以上3台机器硬盘50G以上）
第一准备环境：
servicenetworkrestart
vi/etc/sysconfig/network
vi/etc/hosts
vim/etc/profile/vim/etc/profile.d/java.sh
exportJAVA_HOME=/opt/jdk
exportPATH=$PATH:$JAVA_HOME/bin
source/etc/profile.d/java.sh
vim/etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled
serviceiptablesstop
chkconfigiptablesoff
servicentpdstart
chkconfigntpdon
坑1、jdk
坑2、mysql
办法：安装前先检查有没有一般6.5都是有的。
1.
查看yumlistinstalled|grepjava
◆卸载JDK相关文件输入：yum-yremovejava-1.6.0-openjdk
◆卸载JDK相关文件输入：yum-yremovejava-1.7.0-openjdk
◆卸载tzdata-java输入：yum-yremovetzdata-java.noarch
通过shell上传文件jdkctrl+Alt+F丢到/opt/soft下
解压：tarzxvf-C/opt
mvjdk-jdk
java-version
scp-rjdkroot@"你的用户"：/opt
2.
rpm-qa|grep-imysql
rpm-e--nodeps`rpm-qa|grepmysql`
yum-yinstallmysql-server
servicemysqldstart
chkconfigmysqldon
/usr/bin/mysql_secure_installation
mysql-uroot-proot
mysql>grantallprivilegeson.to''root''@''%''identifiedby''root'';
mysql>flushprivileges;
grantalloncm.to''root''@''%''identifiedby''root''withgrantoption;
flushprivileges;
exit
vi/etc/sysctl.conf
vm.swappiness=0
sysctl-p
vi/etc/rc.local
echonever>/sys/kernel/mm/redhat_transparent_hugepage/defrag
echonever>/sys/kernel/mm/redhat_transparent_hugepage/enabled
echonever>/sys/kernel/mm/transparent_hugepage/enabled
echonever>/sys/kernel/mm/transparent_hugepage/defrag
ssh-keygen-trsa
ssh-copy-id-iroot@“你的用户”
在拷贝到其他
第二：CM用户创建/安装
useradd--system--home=/opt/cm-5.6.0/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm
tarzxvfsoft/cloudera-manager-el6-cm5.6.0_x86_64.tar.gz-C/opt
cpsoft/mysql-connector-java-5.1.39.jar/opt/cm-5.6.0/share/cmf/lib/
/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.shmysqlcm-h“你的用户”-P3306-uroot-proot--scm-host“你的用户”scmscmscm
第三：修改cm-agent
vim/opt/cm-5.6.0/etc/cloudera-scm-agent/config.ini
server_host=“你主机映射名”
scp-r/opt/cm-5.6.0root@“其他机器”:/opt
scp-r/opt/cm-5.6.0root@“其他机器”:/opt
cpsoft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel/opt/cloudera/parcel-repo/
cpsoft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1/opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
注意，在/opt/cloudera/parcel-repo/目录下一定要.sha1后缀名改为.sha，不然系统不识别离线安装包，还会从网络中下载
cpsoft/manifest.json/opt/cloudera/parcel-repo/
启动相关服务端和客户端脚本
通过/opt/cm-5.6.0/etc/init.d/cloudera-scm-serverstart|stop|status|restart启动服务端。
通过/opt/cm-5.6.0/etc/init.d/cloudera-scm-agentstart|stop|status|restart启动Agent服务。（所有节点都要启动Agent服务，包括服务端）
基础配置完成，接下来就是在页面中进行配置了
访问http://cdh-uplooking-01:7180
http://1cdh:7180
用户名：admin，密码：admin
按照提示一步一步完成安装配置
################################################################################################################3333
在安装过程中可能会遇到以下两个问题：
针对Hive和oozie需要mysql驱动的问题
hive
cpcm-5.6.0/share/cmf/lib/mysql-connector-java-5.1.39.jar/opt/cloudera/parcels/CDH-5.6.1-1.cdh5.6.1.p0.3/lib/hive/lib/
oozie
cpcm-5.6.0/share/cmf/lib/mysql-connector-java-5.1.39.jar/var/lib/oozie/
SSH教程
在线安装SSh
yuminstallopenssh-server
启动SSh
servicesshdstart
设置开机运行
chkconfigsshdon
客户端和服务端交互
客户端的安装
yuminstallopenssh-clients
上传本地文件
yuminstalllrzsz
Apache
yuminstallhttpd
servicehttpdstart
servicehttpdstop
ps-ef|grephttpd查看进程
直接访问端口即可192.168.2.174
没有关闭防火墙的情况下是不可以的
netstat-anpl|grep''http''
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
