| 共 113 篇文章 |
|
业务日志收集方案。kafka只是用来做缓冲的，如果日志没有明显的波峰，可以不使用kafka.log_datestring是日志时间ES上的字段类型为datetime.也就是我们要求业务在打日志的时候以JSON格式打印到文件中，并包含以上字段，这样就可以很方便的被Rsyslog收集并，写入Kakfa队列，最后再入到ES中。注意 程序可以打2份日志，一份按原来格式入文件，一份... 阅557 转0 评0 公众公开 19-02-28 11:14 |
分布式系统中的日志落地经验总结。在分布式系统中，众多服务分散部署在成百上千台甚至成千上万台服务器上，要想快速方便的实现上述的查找、分析和归档功能，就需要有一个集中的日志系统，通过日志收集器将各类日志进行统一汇总，存储，这样不仅能方便查找所有的日志，还有可能在众多日志数据中挖掘到一些意想不到的关联关系。也可以直接经网络... 阅314 转1 评0 公众公开 19-02-28 11:13 |
Storm集群的搭建也要依赖于zookeeper，本系统中storm与kafka共用同样一个zookeeper集群。将上面的KafkaSink类打包成flumeng-kafka.jar,并将该jar包以及kafka_2.9.2-0.8.1.jar、metrics-annotation-2.2.0.jar、metrics-core-2.2.0.jar、Scala-compiler.jar、scala-library.jar、zkclient-0.3.jar放到flume的lib目录下，启动flume，我们就可以将E... 阅581 转3 评0 公众公开 18-03-09 23:38 |
agent.sources = r1agent.channels = c2agent.sinks = s2agent.sources.r1.type = avroagent.sources.r1.bind = IPagent.sources.r1.port = 50001agent.channels.c2.type = memoryagent.channels.c2.capacity = 1000agent.channels.c2.transactionCapacity = 100agent.sinks.s2.type = org.apace.flume.sink.kafka.运行logstash命令为：nohup b... 阅373 转0 评0 公众公开 17-12-26 09:22 |
flume+elasticsearch+kibana遇到的坑。一、elasticsearch单机环境搭建。tar -zxvf elasticsearch-5.2.2.tar.gzcd elasticsearch-5.2.2../bin/elasticsearch或nohup ./bin/elasticsearch &tar -zxvf kibana-5.2.2.tar.gz.server.port: 5601 #监听的端口号server.host: "172.18.12.XX" #Kibana服务的IPelasticsearch.url: http://... 阅175 转0 评0 公众公开 17-12-26 09:19 |
阅161 转0 评0 公众公开 17-12-26 09:18 |
MongoSinkagent.sinks.s1.host = XX.XX.XX.XXagent.sinks.s1.port = 27017agent.sinks.s1.model = SINGLEagent.sinks.s1.db = 数据库表agent.sinks.s1.username = XXagent.sinks.s1.password = YYagent.sinks.s1.collection = 表名agent.sinks.s1.batch = 100agent.sources.r1.channels = c1agent.sinks.s1.channel = c1. 阅98 转0 评0 公众公开 17-12-26 09:17 |
日志agent解决方案。filter：请求过滤器，负责访问源解析统计，权限认证等container：包含了正在访问的文件句柄集合，当日志滚动文件名变更发生时可以防止错误定位handler：获取日志数据的处理器，采用偏移量随机读取的方式storer：保存用户成功获取的文件位点信息。file：日志文件的全路径，支持通配符＊指定某目录下所有的日志文件。普通的日... 阅1593 转0 评0 公众公开 17-10-26 11:35 |
设计一套实时分布式日志流收集平台(tail Logs目前业界大概这么几个开源的分布式日志系统，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。系统的运行架构图，以及相关说明 说明如下：1、首先启动一个日志扫描线程（扫描日志目录），当有本地日志文件生成的时，会生成一个日志tail任务,放到日志tail队列中等... 阅433 转1 评0 公众公开 17-10-18 21:12 |
一种基于实时日志的网站威胁检测的方法及系统一种基于实时日志的网站威胁检测的方法及系统。[0011] 实时监控网站日志服务器上的日志文件，当检测到日志文件内容发生变化时，对变化的数据进行增量采集；[0093] 如图5所示，为本发明一实施例提供的基于实时日志的网站威胁检测系统的结构示意图，该系统包括日志数据实时采集单元501、日志数据实时... 阅83 转0 评0 公众公开 17-10-16 17:19 |
