Flume搭建：只要解压flume的gzip压缩文件，即可使用，我们最好将flume-env.sh中的Java_Home修改一下。并将整个文
件重命名为flume-env.sh之后关键是如何使用flume使用flume首先就需要写一个配置文件，将这个配置文件放到一个目录下
。通过bin/flume-ng命令启动flume，并运行脚本文件。配置文件（自定义）我们先自定义一个文件，并命名为Director
y2console.properties#配置一个agentagent的名称可以自定义#指定agent的sources,sin
ks,channels#分别指定agent的sources，sinks,channels的名称名称可以自定义a1.sources
=r1a1.sinks=s1a1.channels=c1#配置source根据agent的sources的名称来对source
进行配置#source的参数是根据不同的数据源配置不同---在文档查找即可#配置目录sourcea1.sources.r1.t
ype=spooldira1.sources.r1.spoolDir=/usr/local/flume-1.8/flumetest
#注flume-1.8/flumetest是我们自己创建的，flumetest是一个目录，不是文件，我们要#将要执行的文件放入到
flumetest中#配置channel根据agent的channels的名称来对channels进行配置#配置内存chan
nela1.channels.c1.type=memory#配置sink根据agent的sinks的名称来对sinks进行配置#
配置一个loggersinka1.sinks.s1.type=logger#注：logger的这种类型表示显示在控制台上#绑定
特别注意source的channel的绑定有s,sink的channel的绑定没有sa1.sources.r1.channe
ls=c1a1.sinks.s1.channel=c1将该配置文件放到conf目录下执行bin/flume-ngagent--
confconf--conf-filedirectory2console.properties--namea1-Dfl
ume.root.logger=INFO,console注：上述的命令中：--conf指定flume配置文件的位置，其后的con
f表示的就是当前目录下的conf目录，因此这个命令需要放在apache-flume-1.8.0-bin目录下执行，因为apach
e-flume-1.8.0-bin目录中才包含conf目录--conf-file指定日志收集的配置文件：directory2co
nsole.properties就是我们自定义的那个文件--name指定agent的名称a1就是我们在配置文件中使用的那个
agent的名-Dflume.root.logger=INFO,console让收集的信息打印到控制台具体过程为编写配置文件Di
rectory2console.properties编写数据源文件将配置文件Directory2console.propertie
s移动到/home/hadoop/apps/apache-flume-1.8.0-bin/conf目录下（这是由于我们的执行命令
中我们自己指定配置文件在conf下）将数据源文件flumetest.txt移动到我们自己创建的flumetest中（这是因为我们自
己创建的配置文件中我们自己指定了执行文件所在的目录，注意我们并没有在配置文件中指定源文件具体是什么，但是我们指定了源文件的存放位置
。）（5）在conf目录中运行flume-ngagent--confconf--conf-fileDirectory2
console.properties--namea1-Dflume.root.logger=INFO,console执行结果
如下显示注：（1）在自定义的配置文件中指定了数据源文件所在的文件夹的目录，并不指定具体的数据源文件是什么，只要是在这个文件夹下，f
lume都会去获取。（2）配置文件是在执行的命令中指定的flume-ngagent--confconf--conf-fi
leup.properties--nameagent1-Dflume.root.logger=INFO,consolef
lume-ngagent--confconf--conf-fileflumeHA02.properties--nam
ea1-Dflume.root.logger=INFO,consoleflume-ngagent--confconf--conf-fileflumeHA03.properties--namea1-Dflume.root.logger=INFO,console |
|
