|
目前正在写一个日志处理系统，虽然业务很简单，但是感觉想把它做大做强，还是有很多东西可以挖掘的，希望能在这里把整个过程记录下来，对自己的积累做个总结。
计划使用如下技术构建整个系统。
1. 使用scribe集群完成日志收集 2. 使用hadoop集群完成日志分析处理 3. 使用hbase完成分析结果的存储 4. 使用hightchar作为前端UI的展示工具
计划编写如下程序完成整个系统
1. scribe客户端程序，负责将日志内容通过管道写入scribe 2. scribe中心端程序，负责将收集的日志上传到hadoop 3. 日志分析处理程序，负责对hdfs中的日志分析处理 4. hbase客户端程序，负责对rest接口返回查询结果 5. 前端web展示程序，负责解析xml并以报表方式展示 |
|
|
