分享

分布式日志收集系统Apache Flume的设计详细介绍

 风_宇星 2015-07-23
1.Flume传输的数据的基本单位是是什么?
Flume传输的数据的基本单位是event

2.Event是什么,流向是怎么样的?
Event从Source,流向Channel,再到Sink,本身为一个byte数组,并可携带headers信息

3.Source:完成对日志数据的收集,分成什么打入Channel中?
Source:完成对日志数据的收集,分成transtion 和 event 打入到channel之中。

4.Channel的作用是什么?
Channel:主要提供一个队列的功能,对source提供中的数据进行简单的缓存。

6.Flume支那些数据格式?
Flume支持Avro,log4j,syslog和http post(body为json格式)。


7.对于直接读取文件Source,有两种方式,分别是什么?
(1)ExecSource:以运行Linux命令的方式,持续的输出最新的数据,
(2)SpoolSource:监测配置的目录下新增的文件,并将文件中的数据读取出来。

8.Channel有多种方式有哪些方式?
Channel有多种方式:有MemoryChannel,JDBC Channel,MemoryRecoverChannel,FileChannel。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多