他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 6 篇文章 |
|
补充注意点（针对cm安装的flume）：首先在hdfs上创建/flume目录：hadoop fs -mkdir /flume给该目录授权给flume用户和组：hadoop fs -chown -R flume:flume /flume. 阅580 转3 评0 公众公开 17-05-23 10:06 |
agent.sources = source1agent.channels = memoryChannelagent.sinks = sink1# For each one of the sources, the type is definedagent.sources.source1.type = avroagent.sources.source1.bind = hadoop1agent.sources.source1.port = 23004agent.sources.source1.channels = memoryChannel# Each sink''s type must be defined#agen... 阅175 转1 评0 公众公开 15-09-11 11:10 |
【采集层】Kafka 与 Flume 如何选择。Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API.如果已经存在的Flume Sources和Sinks满足你的需求，并且你更喜欢不需要任何开发的系统，请使用Flume。如果你的设计需要从Kafka到Hadoop的流数据，使用Flume代理并配置Kafka的Source读取数据也是可行的：你没有必要实现自... 阅102 转1 评0 公众公开 15-08-20 10:43 |
# Number of seconds to wait before rolling current file (in 600 seconds)agent.sinks.sink.hdfs.rollInterval=600 # File size to trigger roll, in bytes (256Mb)agent.sinks.sink.hdfs.rollSize = 268435456 # never roll based on number of eventsagent.sinks.sink.hdfs.rollCount = 0 # Timeout after which inactive files get close... 阅345 转5 评0 公众公开 15-08-20 09:44 |
flume-ng负载均衡load-balance、failover集群搭建。转自：http://blog.csdn.net/morning_pig/article/details/9093149.客户端/tmp/linux.log文件3G左右，发送给host1。即：先启动host2和host3，然后启动host1，最后启动client。测试过程中，可以随时将host2或host3停止，过一段时间再启动。这样，就测试了flume-ng的load-balance和failover功能... 阅1062 转4 评0 公众公开 15-08-19 15:41 |
#agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Spooling Directory是<span style="color:#FF0000;">监控</span>指定文件夹中新文件的变化，一旦新文件出现，就解析该文件内容，然后写入到channle。flume-ng agent -n agent1 -c conf -f /home/yujianxin/flume/apache-flume-1.4... 阅9065 转24 评0 公众公开 15-05-03 12:34 |
