| 共 4 篇文章 |
|
Flume 中文入门手冊原文：https://cwiki.apache.org/confluence/display/FLUME/Getting+Started什么是 Flume NG?apache-flume-ng-dist-1.4.0-SNAPSHOT-bin.tar.gz - Flume 的二进制版, 待执行apache-flume-ng-dist-1.4.0-SNAPSHOT-src.tar.gz - 仅有源代码的 Flume 公布版。$ bin/flume-ng agent --conf conf/ -f conf/flume.conf -n agent1201... 阅1737 转2 评0 公众公开 18-01-25 17:42 |
其中 Sink：logger Channel：memory flume官网中NetCat Source描述：总结Exec source：Exec source和Spooling Directory Source是两种常用的日志采集的方式，其中Exec source可以实现对日志的实时采集，Spooling Directory Source在对日志的实时采集上稍有欠缺，尽管Exec source可以实现对日志的实时采集，但是当Flume不运行或者指令执行出错时... 阅13 转1 评0 公众公开 18-01-25 17:39 |
使用Flume+Kafka+SparkStreaming进行实时日志分析。LauncherStreaming --jars /home/hadoop/jar/kafka-clients-0.10.0.0.jar,/home/hadoop/jar/metrics-core-2.2.0.jar,/home/hadoop/jar/zkclient-0.3.jar,/home/hadoop/jar/spark-streaming-kafka-0-8_2.11-2.0.0.jar,/home/hadoop/jar/kafka_2.11-0.8.2.1.jar /home/hadoop/jar/SparkLearning... 阅206 转1 评0 公众公开 18-01-25 17:26 |
## source 拦截器agent_lxw1234.sources.sources1.interceptors = i1agent_lxw1234.sources.sources1.interceptors.i1.type = regex_extractoragent_lxw1234.sources.sources1.interceptors.i1.regex = .*?\\|(.*?)\\|.*agent_lxw1234.sources.sources1.interceptors.i1.serializers = s1agent_lxw1234.sources.sources1.interceptors.i1.seria... 阅1462 转5 评0 公众公开 18-01-21 16:58 |
