分享

Nginx负载均衡中后端节点服务器健康检查的操作梳理

 WindySky 2018-02-07
    server 192.168.1.21:80;
    server 192.168.1.22:80;
    check interval=3000 rise=2 fall=5 timeout=1000 type=http;
        
}
上面配置的意思是,对test_web这个负载均衡条目中的所有节点,每个3秒(3000毫秒)检测一次,请求2次正常则标记realserver状态为up,如果检测5次都失败,则标记realserver的状态为down,超时时间为1秒。
---------------------下面列出nginx_upstream_check_module 模块所支持的指令含义----------------------
Syntax:  check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
Default: 如果没有配置参数,默认值是:interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
Context: upstream
该指令可以打开后端服务器的健康检查功能。指令后面的参数意义是:
interval:向后端发送的健康检查包的间隔。
fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。
rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。
timeout: 后端健康请求的超时时间,单位毫秒。
default_down: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。
type:健康检查包的类型,现在支持以下多种类型:
     tcp:简单的tcp连接,如果连接成功,就说明后端正常。
     ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。
     http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。
     mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。
     ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。
     port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。
Syntax: check_keepalive_requests request_num
Default: 1
Context: upstream
该指令可以配置一个连接发送的请求数,其默认值为1,表示Tengine完成1次请求后即关闭连接。
Syntax: check_http_send http_packet
Default: "GET / HTTP/1.0\r\n\r\n"
Context: upstream
该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量,推荐采用"HEAD"方法。
当采用长连接进行健康检查时,需在该指令中添加keep-alive请求头,如:"HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。 同时,在采用"GET"方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务器或网络异常。
Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx
Context: upstream
该指令指定HTTP回复的成功状态,默认认为2XX和3XX的状态是健康的。
Syntax: check_shm_size size
Default: 1M
Context: http
所有的后端服务器健康检查状态都存于共享内存中,该指令可以设置共享内存的大小。默认是1M,如果你有1千台以上的服务器并在配置的时候出现了错误,就可能需要扩大该内存的大小。
Syntax: check_status [html|csv|json]
Default: check_status html
Context: location
显示服务器的健康状态页面。该指令需要在http块中配置。
在Tengine-1.4.0以后,可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。
也可以通过请求的参数来指定格式,假设‘/status’是你状态页面的URL, format参数改变页面的格式,比如:
/status?format=html
/status?format=csv
/status?format=json
同时你也可以通过status参数来获取相同服务器状态的列表,比如:
/status?format=html&status=down
/status?format=csv&status=up
下面是一个状态配置的范例:
http {
      server {
         location /nstatus {
             check_status;
             access_log off;
             #allow IP;
             #deny all;
         }
      }
}

具体实例配置如下: 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
1)下载nginx_upstream_check_module模块,并部署到nginx中。
[root@localhost ~]# cd /usr/local/src
[root@localhost src]# wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip
[root@localhost src]# unzip unzip master.zip
[root@localhost src]# ls
master.zip  nginx_upstream_check_module-master
[root@localhost src]# ls nginx_upstream_check_module-master/
CHANGES              check_1.2.6+.patch   check.patch                ngx_http_upstream_check_module.c          upstream_fair.patch
check_1.11.1+.patch  check_1.5.12+.patch  config                     ngx_http_upstream_check_module.h          util
check_1.11.5+.patch  check_1.7.2+.patch   doc                        ngx_http_upstream_jvm_route_module.patch
check_1.2.1.patch    check_1.7.5+.patch   nginx-sticky-module.patch  README
check_1.2.2+.patch   check_1.9.2+.patch   nginx-tests                test
   
[root@localhost src]# wget http:///download/nginx-1.8.0.tar.gz
[root@localhost src]# tar -zxvf nginx-1.8.0.tar.gz
[root@localhost src]# cd nginx-1.8.0
   
[root@localhost nginx-1.8.0]# patch -p1 < ../nginx_upstream_check_module-master/check_1.9.2+.patch
[root@localhost nginx-1.8.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --add-module=../nginx_upstream_check_module-master/
[root@node1 src]# make && make install
   
2)nginx配置
[root@master-node ~]# vim /usr/local/nginx/conf/vhosts/LB.conf
upstream LB-WWW {
      server 192.168.1.101:80; 
      server 192.168.1.102:80;
      check interval=3000 rise=2 fall=5 timeout=1000 type=http;
      check_keepalive_requests 100;
      check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
      check_http_expect_alive http_2xx http_3xx;
    }
        
server {
     listen       80;
     server_name  www.wangshibo.com;
      
      access_log  /usr/local/nginx/logs/www-access.log main;
      error_log  /usr/local/nginx/logs/www-error.log;
      
     location / {
         proxy_pass http://LB-WWW;
         proxy_redirect off ;
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header REMOTE-HOST $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_connect_timeout 300;         
         proxy_send_timeout 300;           
         proxy_read_timeout 600;             
         proxy_buffer_size 256k;             
         proxy_buffers 4 256k;              
         proxy_busy_buffers_size 256k;       
         proxy_temp_file_write_size 256k;    
         proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
         proxy_max_temp_file_size 128m;
         proxy_cache mycache;                            
         proxy_cache_valid 200 302 60m;                  
         proxy_cache_valid 404 1m;
        }
         
       location /nstatus {
         check_status;
         access_log off;
         #allow IP;
         #deny all;
       }
}

配置完毕后,重启nginx。然后访问http://localhost/nstatus这个页面就可以看到当前两台realserver实时的健康状态。
温馨提示:在生产环境的实施应用中需要注意下面两点

1
2
3
4
5
6
1)主要定义好type。由于默认的type是tcp类型,因此假设服务启动,不管是否初始化完毕,它的端口都会起来,所以此时前段负载均衡器为认为该服务已经可用,其实是不可用状态。
2)注意check_http_send值的设定。由于它的默认值是"GET / HTTP/1.0\r\n\r\n"
   假设应用是通过http://ip/name访问的,那么这里check_http_send值就需要更改为 "GET /name HTTP/1.0\r\n\r\n"才可以。
   针对采用长连接进行检查的, 这里增加 keep-alive请求 头,即"HEAD /name HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"
   如果后端的tomcat是基于域名的多虚拟机,此时你需要通过 check_http_send定义host,不然每次访问都是失败,范例:
   check_http_send "GET /mobileapi HTTP/1.0\r\n HOST  www.redhat.sx\r\n\r\n";

也可以参考http://www.cnblogs.com/kevingrace/p/5882006.html这篇文档里的nginx后端节点健康检查的方法 

三、利用ngx_http_healthcheck_module模块对后端节点做健康检查
除了上面两个模块,nginx官方在早期的时候还提供了一个ngx_http_healthcheck_module模块用来进行nginx后端节点的健康检查。nginx_upstream_check_module模块就是参照该模块的设计理念进行开发的,因此在使用和效果上都大同小异。
但是需要注意的是,ngx_http_healthcheck_module模块仅仅支持nginx的1.0.0版本,1.1.0版本以后都不支持了!因此,对于目前常见的生产环境上基本都不会去用这个模块了~

***************当你发现自己的才华撑不起野心时,就请安静下来学习吧***************

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多