本文主要帮助大家熟悉 Nginx 有哪些应用场景、Nginx 特点和架构模型以及相关流程、Nginx 定制化开发的几种模块分类。读完本文你将对 Nginx 有一定的认识。
图片来自 Pexels 本文将围绕如下几个部分进行讲解:Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器,也是一个 IMAP/POP3/SMTP 服务器:Openresty:作者 @agentzh(章宜春)开发的,最大特点是引入了 ngx_lua 模块,支持使用 Lua 开发插件,并且集合了很多丰富的模块,以及 Lua 库。 Tengine:主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。 Nginx 官方版本,更新迭代比较快,并且提供免费版本和商业版本。 Nginx 源码结构(代码量大约 11 万行 C 代码):Master 进程:监视工作进程的状态;当工作进程死掉后重启一个新的;处理信号和通知工作进程。 Worker 进程:处理客户端请求,从主进程处获得信号做相应的事情。 Cache Loader 进程:加载缓存索引文件信息,然后退出。 Cache Manager进程:管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除。
Nginx 的框架模型如下图: 框架模型流程如下图: Nginx 框架模型流程如下图:Master 初始化流程,如下图:Worker 初始化:Worker 初始化流程图如下:静态文件请求 IO 流程如下图:HTTP 请求流程如下图:HTTP 请求 11 个阶段,如下图所示:upstream模块:访问第三方 Server 服务器 底层 HTTP 通信非常完善 异步非阻塞 上下游内存零拷贝,节省内存 支持自定义模块开发
upstream 框架流程,如下图:upstream 内部流程,如下图:反向代理流程,如下图:Nginx 的模块化设计特点如下:高度抽象的模块接口 模块接口非常简单,具有很高的灵活性 配置模块的设计 核心模块接口的简单化 多层次、多类别的模块设计
内部核心模块:Handler 模块:接受来自客户端的请求并构建响应头和响应体。Filter 模块:过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。Upstream 模块:使 Nginx 跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。Load_Balance:负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。ngx_lua 模块:脚本语言 内存开销小 运行速度快 强大的 Lua 协程 非阻塞
定制化开发 Demo#配置文件: server { ... location test { test_counter on; } } #config ngx_addon_name=ngx_http_test_module HTTP_MODULES='$HTTP_MODULES ngx_http_test_module' NGX_ADDON_SRCS='$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c' #ngx_http_test_module.c static ngx_int_t ngx_http_test_handler(ngx_http_request_t *r) { ngx_int_t rc; ngx_buf_t *b; ngx_chain_t out; ngx_http_test_conf_t *lrcf; ngx_str_t ngx_test_string = ngx_string('hello test');
lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module); if ( lrcf->test_counter == 0 ) { return NGX_DECLINED; }
/* we response to 'GET' and 'HEAD' requests only */ if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) { return NGX_HTTP_NOT_ALLOWED; }
/* discard request body, since we don't need it here */ rc = ngx_http_discard_request_body(r);
if ( rc != NGX_OK ) { return rc; }
/* set the 'Content-type' header */ /* *r->headers_out.content_type.len = sizeof('text/html') - 1; *r->headers_out.content_type.data = (u_char *)'text/html'; */ ngx_str_set(&r->headers_out.content_type, 'text/html');
/* send the header only, if the request type is http 'HEAD' */ if ( r->method == NGX_HTTP_HEAD ) { r->headers_out.status = NGX_HTTP_OK; r->headers_out.content_length_n = ngx_test_string.len;
return ngx_http_send_header(r); }
/* set the status line */ r->headers_out.status = NGX_HTTP_OK; r->headers_out.content_length_n = ngx_test_string.len;
/* send the headers of your response */ rc = ngx_http_send_header(r); if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) { return rc; }
/* allocate a buffer for your response body */ b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t)); if ( b == NULL ) { return NGX_HTTP_INTERNAL_SERVER_ERROR; }
/* attach this buffer to the buffer chain */ out.buf = b; out.next = NULL;
/* adjust the pointers of the buffer */ b->pos = ngx_test_string.data; b->last = ngx_test_string.data + ngx_test_string.len; b->memory = 1; /* this buffer is in memory */ b->last_buf = 1; /* this is the last buffer in the buffer chain */
/* send the buffer chain of your response */ return ngx_http_output_filter(r, &out); }
解决接入层故障定位慢的问题,帮助 OP 快速判定问题根因,优先自证清白,提高接入层高效的生产力。让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。 Nginx query_upstream 模块介绍 链路追踪,梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。获取 Nginx 配置文件格式化为 json 格式信息:Nginx 共享内存支持 Redis 协议模块介绍 根据配置文件来动态的添加共享内存: https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict:共享内存核心模块(红黑树,队列)ngx_shm_dict_manager:添加定时器事件,定时的清除共享内存中过期的 Key,添加读事件,支持 Redis 协议,通过 redis-cli get,set,del,ttl解析日志进行回放压测,模拟后端服务器慢等各种异常情况 :
https://github.com/lidaohang/playback-testing
方案说明:客户端解析 access.log 构建请求的 host,port,url,body。 把后端响应时间,后端响应状态码,后端响应大小放入 header 头中。 后端服务器获取相应的 header,进行模拟响应 body 大小,响应状态码,响应时间。
使用方式:server/backserver/main.go
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
简介:多年的底层开发经验,在高性能 Nginx 开发和分布式缓存 Redis Cluster 有着丰富的经验,目前从事分布式存储工作。先后在 58 同城、汽车之家、优酷土豆集团工作。目前供职于滴滴基础平台-技术专家岗位,主要负责分布式 Ceph 系统。个人主要关注的技术领域:高性能 Nginx 开发、分布式缓存、分布式存储。 编辑:陶家龙
征稿:有投稿、寻求报道意向技术人请联络 editor@51cto.com
|