命運之輪 / 服务器监控 / 用GoAccess分析Nginx的日志 | FancyCoding

0 0

   

用GoAccess分析Nginx的日志 | FancyCoding

2015-08-11  命運之輪

GoAccess是什么?

GoAccess是一款开源、实时,运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计,可以令管理员不再纠结于统计各类数据,和繁杂的指令以及一大堆管道/正则表达式说byebye。


功能一览

  • 生成统计数据,带宽统计等
  • 每个请求的时间统计
  • 最高访问ip
  • 请求的文件统计
  • 请求的静态文件、图片、flash、js文件等
  • 各HTTP状态码统计
  • Hosts,反向DNS,IP所在地
  • 操作系统
  • 浏览器/蜘蛛
  • 引用的网站
  • 引用的URLs
  • 关键词组
  • 地理位置 (大陆、国家、城市)
  • 可输出JSON或CSV
  • 各种的颜色主题
  • 支持大容量数据且支持大容量数据的持续分析
  • 支持IPv6
  • 可生成HTML报告

开始使用

  • 如果想从源码编译:
1
2
3
4
5
wget http://tar.goaccess.io/goaccess-0.8.1.tar.gz
tar -xzvf goaccess-0.8.1.tar.gz
cd goaccess-0.8.1/
./configure --enable-geoip --enable-utf8
make && make install
  • 从软件包管理器安装:

Debian/Ubuntu

1
# apt-get install goaccess

CentOS/Fedora

1
yum install goaccess

OSX

1
brew install goaccess

用Access来分析Nginx日志

然后就可以开始使用GoAccess了。

首先,进入nginx的日志目录,如/var/log/nginx,输入如下命令让goaccess打开指定文件:

1
goaccess -f access.log

打开之后会跳出选择日志文件类型的界面:

Nginx日志是属于Combined Log Format (XLF/ELF)类型的,所以我们选择第三个。用上下光标移动,空格选中,回车确定。

进入了主界面:

键盘操作:

  • F1h:帮助
  • F5 :刷新主界面
  • q:退出程序/当前窗口/折叠当前模块
  • oEnter:展开选中的模块或窗口
  • 0-9以及Shift + 0:将选中的模块或窗口激活
  • kj:模块内部移动
  • c:修改配色
  • ^f^b:模块中上下滚屏
  • tab shift+tab:前后切换模块
  • s:模块内部排序选择
  • /:在所有模块中搜索(支持正则)
  • n:找到下个匹配
  • gG:跳到第一项/最后一项

命令行下相关:

在使用goaccess命令行前,我们必须配置日志文件的解析格式,因为此处没有界面来让你选择日志格式了。

看一下日志格式:

1
2
$tail access.log
219.137.254.254 - - [12/Jul/2014:14:55:04 +0800] "GET / HTTP/1.1" 301 185 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36" "-"

如果你的日志格式和我一样,那么就不用自己折腾了。请跳过下一小段。

如果你的日志格式和我不同,那么请去http://goaccess.io/man#custom-log 看一下格式的基本规范。以我的log为例:

ip - - [日期] "请求类型" 服务器响应 大小 来源 浏览器信息 "代理"

%h %^[%d:%^] "%r" %s %b "%R" "%u" %^

各项代表的意思可以去http://goaccess.io/man#custom-log 查看。

现在配置一下:

1
vim /etc/goaccess.conf

如果有这行:

1
2
#NCSA Combined Log Format with Virtual Host
#log-format %^:%^ %h %^[%d:%^] "%r" %s %b "%R" "%u"

那就去掉下面log-format前的#吧。

如果没有,就写一行。

log-format %h %^[%d:%^] "%r" %s %b "%R" "%u" %^

找到

1
2
#Any Apache log date format
#date-format %d/%b/%Y

取消掉date-format的注释。


使用GoAccess生成html报告:

1
# goaccess -f access.log -a > report.html

生成json报告:

1
goaccess -f access.log -a -d -o json > report.json

CSV:

1
goaccess -f access.log -o csv > report.csv

由于nginx会自动压缩日志,一下命令可以直接分析压缩后的日志:

1
2
3
zcat access.log.*.gz | goaccess
#或者
zcat -f access.log* | goaccess

支持各种管道:

1
sed -n '/11\/Dec\/2014/,$ p' access.log | goaccess -a

想分析下百度/google对你网站爬了些啥内容?Easy:

1
grep -E "(google|baidu)"access.log | goaccess -a

嗯,辛勤的谷歌今天已经来我的网站爬了4个页面了。:)


有哪些不足?

  1. 只支持maxmind的地理数据库。当然maxmind也有免费版本

  2. 其他的缺点实在想不到了。因为支持管道,所以一切都那么方便.

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。如发现有害或侵权内容,请点击这里 或 拨打24小时举报电话:4000070609 与我们联系。

    猜你喜欢

    0条评论

    发表

    请遵守用户 评论公约

    类似文章
    喜欢该文的人也喜欢 更多