|
分布式服务部署在多台机器上，统一查看日志是个很重要的需求。对日志量很大的应用，为不影响生产系统，可以通过thrift、protobuf等方式收集到日志中心，再使用Hadoop+lucence进行分析。实时日志分析也可以用这个系统。最近团队在预言这个方案，以后有机会再和大家分享。而基于gearman的分布式日志查询系统，知识资源投入小，效果却很强大，可以有效处理在线debug的问题，把工程师从海量日志里解放出来，十分推荐。
另外要说明的是，gearman主要侧重于分布式任务指派。不要让gearman做它不擅长的事情，比如在gearman worker中返回大量计算结果等。这些通讯工作完全可以通过更擅长传输的mq搞定。
因为gearman的使用简单明了，网上已有的资料十分周全，这里不详细的描述。个人推荐几个连接：
扶凯：使用 Gearman 实现分布式处理 http://www./2010/09/05/perl-gearman-distributed.html
Python gearman library home page
Tim Yang：利用Gearman来实现远程监控与管理 http:///linux/gearman-monitor/ 分布式服务部署在多台机器上，统一查看日志是个很重要的需求。对日志量很大的应用，为不影响生产系统，可以通过thrift、protobuf等方式收集到日志中心，再使用Hadoop+lucence进行分析。实时日志分析也可以用这个系统。最近团队在预言这个方案，以后有机会再和大家分享。而基于gearman的分布式日志查询系统，知识资源投入小，效果却很强大，可以有效处理在线debug的问题，把工程师从海量日志里解放出来，十分推荐。
另外要说明的是，gearman主要侧重于分布式任务指派。不要让gearman做它不擅长的事情，比如在gearman worker中返回大量计算结果等。这些通讯工作完全可以通过更擅长传输的mq搞定。
因为gearman的使用简单明了，网上已有的资料十分周全，这里不详细的描述。个人推荐几个连接：
扶凯：使用 Gearman 实现分布式处理 http://www./2010/09/05/perl-gearman-distributed.html
Python gearman library home page
Tim Yang：利用Gearman来实现远程监控与管理 http:///linux/gearman-monitor/
|
|
|
