flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume./
在apache flume的官网上没有找到sql数据源数据抓取的source, 可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现,已可以适配所有的关系型数据库。 目前的实验环境是在windows下,所以kafka在windows下相关的配置使用,参考了http://blog.csdn.net/linsongbin1/article/details/48022941
下面主要说一下flume-ng在windows下的启动,及具体的配置 启动: “F:\Java\jdk1.8.0_101\bin\java.exe” -Xmx512m -Dlog4j.configuration=file:///E:\apache-flume-1.6.0-bin\conf\log4j.properties -cp "E:\apache-flume-1.6.0-bin\lib\*;E:\apache-flume-1.6.0-bin\plugins.d\sql-source\lib\flume-ng-sql-source-1.4.3-SNAPSHOT.jar;E:\apache-flume-1.6.0-bin\plugins.d\sql-source\libext\mysql-connector-java-5.1.35-bin.jar" org.apache.flume.node.Application -f E:\apache-flume-1.6.0-bin\conf\sql-kafka-conf.properties -n a1
主要的sql-kafka-conf.properties a1.channels = ch-1 ###########sql source################# a1.sources.src-1.hibernate.connection.url = jdbc:mysql://127.0.0.1/test # Hibernate Database connection properties # Custom query a1.sources.src-1.batch.size = 1000 a1.sources.src-1.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider ############################## a1.channels.ch-1.type = memory
红色部分是需要注意的,有s
|
|
来自: 陈永正的图书馆 > 《Flume-ng》