| 共 8 篇文章 |
|
使用flume将kafka数据sink到HBase【转】1.60版本，heap size=1.5G,kafkachannel,kafka source,hbase sink。 阅419 转2 评0 公众公开 17-08-10 18:46 |
阅89 转0 评0 公众公开 16-11-21 17:11 |
可以到apache基金flume官网http://flume.apache.org/download.html，选择镜像下载地址http://mirrors.hust.edu.cn/apache/flume/下载一个稳定版本，如下图所示下载flume-1.5.2-bin.tar.gz：在$FLUME_HOME/conf 下复制改名flume-env.sh.template为flume-env.sh，修改conf/flume-env.sh配置文件。cd /app/flume-1.5.2/conf.1. 在$FLUME_HOME/conf... 阅339 转5 评0 公众公开 16-11-21 15:03 |
阅31 转0 评0 公众公开 16-11-21 14:54 |
将mongo-java-driver和flume-ng-mongodb-sink两个jar包放到flume\lib目录下，并将路径加入到flume-env.sh文件的FLUME_CLASSPATH变量中；MongoSinkmy_agent.sinks.my_mongo_1.host = xxxhostmy_agent.sinks.my_mongo_1.port = yyyportmy_agent.sinks.my_mongo_1.model = dynamicmy_agent.sinks.my_mongo_1.batch = 10my_agent.sinks.my_mongo_1.... 阅196 转0 评0 公众公开 16-11-21 14:53 |
###########sql source################## For each one of the sources, the type is defineda1.sources.src-1.type = org.keedio.flume.source.# Hibernate Database connection propertiesa1.sources.src-1.hibernate.connection.user = roota1.sources.src-1.hibernate.connection.password = passworda1.sources.src-1.hibernate.connecti... 阅61 转0 评0 公众公开 16-11-21 14:07 |
