本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建。
1 环境介绍
2 Flume 下载下载 apache-flume-1.8.0-bin.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local 将解压得到的目录改名为 flume 1 cd /usr/local 2 mv apache-flume-1.8.0-bin/ flume/ 3 添加 Flume 环境变量在"/etc/profile"中添加内容: 1 export FLUME_HOME=/usr/local/flume 2 export PATH=$PATH:$FLUME_HOME/bin 重新加载环境: source /etc/profile 4 修改 Flume 环境变量1 cd /usr/local/flume/conf 2 cp ./flume-env.sh.template ./flume-env.sh 3 vim ./flume-env.sh 添加内容: export JAVA_HOME=/usr/local/jdk1.8
5 验证安装flume-ng version 如果安装成功,则会看到以下内容 Flume 1.8.0 注意:如果系统里安装了hbase,会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装hbase,这一步可以略过。 cd $HBASE_HOME vim hbase-env.sh 1 #1、将hbase的hbase.env.sh的这一行配置注释掉,即在export前加一个# 2 #export HBASE_CLASSPATH=/home/hadoop/hbase/conf 3 #2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下 4 export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 5 #笔者用的是第一种方法 上述方法出自 http://dblab./blog/1102/#more-1102 6 安装完成阿里云ECS服务器部署HADOOP集群系列: |
|