|
一、 常用命令 pstree查看进程树。可以很清楚的看到进程之间的关系； Top：查看各进程的占用资源的情况； du -h --max-depth=1 显示当前目录中所有子目录的大小； w 查看服务器的load情况 bigip 在预发布机器上使用命令“bigip sh ${ip/机器名} {username}” 可以检查机器是在F5上状态是disable还是enable. gm.sh "curl http://localhost/monitor/ok.html" 在预发布机器上检查各个服务器的健康检查页面。 gm.sh "ps amx | grep httpd | wc -l" 在预发布机器上检查各个服务器的http链接数
二、 proc下的伪文件。 如：meminfo 检查内存信息，cpuinfo 内核信息。 cat /proc/cpuinfo 检查cpu的信息。我们的一些程序根据cpu内核的数量做过优化（如：memcached，假的多核可能会引起一些bug。）
如上图 baike-web1 是4核的，baike-web2是双核超线程的。 拥有相同 physical id 的所有逻辑处理器共享同一个物理插座。每个 physical id 代表一个唯一的物理封装。Siblings 表示位于这一物理封装上的逻辑处理器的数量，如果不存在表示1。每个 core id 均代表一个唯一的处理器内核。所有带有相core id 的逻辑处理器均位于同一个处理器内核上。如果有一个以上逻辑处理器拥有相同的 core id 和 physical id，则说明系统支持超线程（HT）技术。如果有两个或两个以上的逻辑处理器拥有相同的 physical id，但是 core id不同，则说明这是一个多内核处理器。
三、 网络连接 netstat： -t: 显示TCP链接信息;-u: 显示UDP链接信息;-n直接显示ip，不做名称转换;-p: 显示相应的进程PID以及名称（要root权限） 如果要查看关于sockets更详细占用信息等，可以使用lsof. a) netstat -anp|grep Java|grep 3306|wc –l检查Java进程中数据库的链接数量 b) netstat -na|grep ESTABLISHED|awk '{print $4}'|grep ":80$"|wc –l 检查已经建立的80端口的连接数 c) netstat -na |grep “:2088” 检查搜索引擎的连接数
四、 dump java进程堆栈 a) kill -3 ${java进程Id}，可以在java进程的日志中看到输出(jboss 记录在jboss_stdout.log中) b) jstack $pid. 直接dump当前进程的的堆栈信息。 对于thread dump信息，主要关注的是线程的状态和其执行堆栈，特别是load很高的时候，通过thread dump可以看到线程到底在干嘛，从中找出问题。 线程的状态一般为三类: runable：当前可以运行的线程, Waiting on monitor：线程主动wait, Waiting for monitor entry：线程等锁. Cpu很忙则关注runnable的线程，Cpu闲则关注waiting for monitor entry的线程。
五、 java内存溢出 1、 可以先用 jstat -gcutil ${pid} {interval} 看看java内存回收的动态信息。 interval– 表示间隔打印的时间，单位为毫秒
图中参数含义如下： S0 — Heap上的 Survivor space 0区已使用空间的百分比 S1 — Heap上的 Survivor space 1 区已使用空间的百分比 E — Heap上的 Eden space 区已使用空间的百分比 O — Heap上的 Old space 区已使用空间的百分比 P — Perm space 区已使用空间的百分比 YGC — 从应用程序启动到采样时发生 Young GC 的次数 YGCT– 从应用程序启动到采样时 Young GC 所用的时间(单位秒) FGC — 从应用程序启动到采样时发生 Full GC 的次数 FGCT– 从应用程序启动到采样时 Full GC 所用的时间(单位秒) 2. 使用jmap 来dump java内存中全部对象，分析死锁的位置。 jmap -histo $pid 快速查看当前内存中各个Java对象的大小和数量 jmap -dump:live,format=b,file=heap.dmp $pid 可以将jvm堆栈中的信息全部复制到文件head.dmp中，注意这个heap.dmp文件会比较大， 线上jboss分配的内存一般为2g,当内存溢出时dump出来的head.dmp文件也是2g,所以dump的时间也比较长，一般会有半个小时. 日志文件生成后运行命令“jhat -J-mx768m -port 7001 heap.dmp”分析堆栈日志（注意不要在线上服务器上分析）。 访问 http://localhost:7001可以查看分析报告。 或者可以使用eclipse 的mat插件分析,它可以以图形形式分析出内存中的java对象的分布： (插件地址http://download./mat/1.0/update-site/).导入后可以生成一个图形报表
六、 7001端口报警。 一般情况是jboss挂掉了。因为java进程已经退出。1首先需要查看：jboss_stdout.log,它会告诉你jboss crash的一些信息，它还会告诉你在jboss crash有一个详细的出错报告， 位置在/web-deploy/bin/hs_err_pid.log
七、 cookie日志分析 cat cookie_log|awk '{print $1} '|grep -v "172.16"|grep -v "127.0.0.1"|sort|uniq -c|sort -n |tail -n 10 提取访问量前10位的ip. cat cookie_log |grep '09/Dec/2010:18:01'|wc –l 检查18:01这一分钟的访问总量。 cat cookie_log|grep 'HTTP/.../" [4|5]'|more 查看响应出错的请求。 cat cookie_log |grep -E 'Googlebot|Baiduspider'|wc –l统计google和baike爬虫的访问量。 |
|
|
