|
UI视频教程 2016-10-11 12:05:27 支持高并发web服务器搭建 一、搭建 服务器环境： 操作系统：centos7，16G内存，8核cpu 安装软件版本: ,php5.6，php-fpm，nginx1.8.1，openresty-1.9.3 安装位置：/nginxLua openresty所在目录：/nginxLua/openresty nginx所在目录：/nginxLua/openresty/nginx nginx.conf所在目录：/nginxLua/openresty/nginx/conf nginx启动项所在目录:/nginxLua/openresty/nginx/sbin/nginx linux内核参数配置项（sysctl.conf）：/etc/sysctl.conf php-fpm.conf所在：/etc/php-fpm.conf php-fpm配置项：/etc/php-fpm.d/www.conf web目录：/web/html lua代码目录：/web/lua 什么是openresty? Openresty是一款nginx+lua的集成包，在目前相对lua扩展不是很健全，openresty是一个很好的选择，里面集成lua的基本模板 什么是lua？ Lua详细的可以百度，作用就是结合nginx可以实现非常高并发的接口，所以lua主要是用来写接口 什么是nginx？ 一种类似apache的web服务器，强大的负载均衡和高并发，epoll的高效处理模式是它的优势，但其实他处理php的速度是跟apache不相上下的，但整体来说效率还是比apache快很多，因为他的异步非阻塞的处理机制 编译安装openresty下载安装包（ngx_openresty-1.9.3.1.tar.gz解压密码：0516） 把压缩包拷到服务器上进行解压（创建一个文件夹openresty） tar -zxvf ngx_openresty-1.9.3.1.tar.gz -C /openresty 在编译之前你需要安装一些基本的依赖包 yum update yum -y install gcc gcc-c++ autoconf automake yum -y install zlib zlib-devel openssl openssl-devel pcre-devel readline-devel yum -y install make nginx相关命令： 开启：/nginxLua/openrety/nginx/sbin/nginx 关闭：/nginxLua/openrety/nginx/sbin/nginx -s stop 平滑关闭 /nginxLua/openrety/nginx/sbin/nginx -s quit 重新加载配置 /nginxLua/openrety/nginx/sbin/nginx -s reload 防火墙相关配置 firewall-cmd –permanent –query-port=9000/tcp 查看是否开启9000端口 firewall-cmd –permanent –add-port=9000/tcp 添加防火墙对9000端口开放 systemctl start firewalld.service 开启防火墙 systemctl stop firewalld.service 禁止使用防火墙 firewall-cmd –reload 防火墙配置加载 php-fpm相关命令 /usr/sbin/php-fpm -c /etc/php.ini 启动 kill -SIGUSR2 cat /run/php-fpm/php-fpm.pid 重启 kill -SIGINT cat /run/php-fpm/php-fpm.pid 关闭 进入openresty开始编译安装 ./configure –prefix=/openresty –with-luajit –with-http_iconv_module –with-http_postgres_module make && make install 测试是否安装成功 开启nginx： /openresty/openrety/nginx/sbin/nginx 修改配置文件：vi /openresty/openresty/conf/nginx.conf 在配置文件中的server中加一个location： location /lua { default_type ‘text/html’; content_by_lua‘ ngx.say(“hellow,word”) ’； } 开启nginx服务：/openresty/openrety/nginx/sbin/nginx curl 127.0.0.1/lua 可以看到结果：hellow，word 说明nginx加lua已经编译安装好了 安装php-5.6 添加yum源 CentOs 5.x rpm -Uvh http://mirror./yum/el5/latest.rpm CentOs 6.x rpm -Uvh http://mirror./yum/el6/latest.rpm CentOs 7.X rpm -Uvh https://mirror./yum/el7/epel-release.rpm rpm -Uvh https://mirror./yum/el7/webtatic-release.rpm 安装php-5.6 yum -y install php56w.x86_64 php56w-cli.x86_64 php56w-common.x86_64 php56w-gd.x86_64 php56w-ldap.x86_64 php56w-mbstring.x86_64 php56w-MySQL.x86_64 php56w-pdo.x86_64 php56w-pear.noarch php56w-process.x86_64 php56w-xml.x86_64 php56w-xmlrpc.x86_64 安装php56w-fpm （nginx编译php文件的关键） yum install php56w-fpm -y 配置nginx支持编译php文件（编辑nginx.conf） location ~ .php(.*){ root html; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcgi_split_path_info ^(.+.php)(.*);//支持thinkphp路由规则的重要配置 fastcgi_param SCRIPT_FILENAME documentrootfastcgi_script_name; fastcgi_param PATH_INFOfastcgipathinfo;fastcgiparamPATHTRANSLATEDdocument_root$fastcgi_path_info; include fastcgi_params; } 启动nginx和php-fpm，测试输出php文件是否有效 502 bad getway ：很有可能就是你上面配置出现错误了 php文件被下载了：说明nginx不能编译php文件，直接坐位普通文件下载了，要检查配置文件是否做了相关的配置 二、支持高并发的配置优化 优化系统内核 timewait 的数量，默认是180000。但是多了会影响处理速度，少了无法最大化利用系统性能 net.ipv4.tcp_max_tw_buckets = 20000 允许系统打开的端口范围。不设置的话在高并发的情况下有可能把服务器的端口都占满，那就彻底爆炸了 net.ipv4.ip_local_port_range = 10000 65000 启用timewait 快速回收，这个必须要打开，很大程度的提高效率 net.ipv4.tcp_tw_recycle = 1 开启SYN Cookies，当出现SYN 等待队列溢出时，启用cookies 来处理。 net.ipv4.tcp_syncookies = 1 web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn限制到128，而nginx 定义的NGX_LISTEN_BACKLOG 默认为511，所以有必要调整这个值 net.core.somaxconn = 262144 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.netdev_max_backlog = 262144 系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)。 net.ipv4.tcp_max_orphans = 262144 记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存的系统则是128。 net.ipv4.tcp_max_syn_backlog = 262144 时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。 net.ipv4.tcp_timestamps = 0 为了打开对端的连接，内核需要发送一个SYN 并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。 net.ipv4.tcp_synack_retries = 1 在内核放弃建立连接之前发送SYN 包的数量。 net.ipv4.tcp_syn_retries = 1 如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180秒，3你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB 服务器，也有因为大量的死套接字而内存溢出的风险，FIN-WAIT-2 的危险性比FIN-WAIT-1 要小，因为它最多只能吃掉1.5K 内存，但是它们的生存期长些。 net.ipv4.tcp_fin_timeout = 2 当keepalive 起用的时候，TCP 发送keepalive 消息的频度。缺省是2 小时。 net.ipv4.tcp_keepalive_time = 30 详细的系统内核参数配置 CTCDN系统优化参数 关闭ipv6 net.ipv6.conf.all.disable_ipv6=1 net.ipv6.conf.default.disable_ipv6=1 避免放大攻击 net.ipv4.icmp_echo_ignore_broadcasts=1 开启恶意icmp错误消息保护 net.ipv4.icmp_ignore_bogus_error_responses=1 关闭路由转发 net.ipv4.ip_forward=0 net.ipv4.conf.all.send_redirects=0 net.ipv4.conf.default.send_redirects=0 开启反向路径过滤 net.ipv4.conf.all.rp_filter=1 net.ipv4.conf.default.rp_filter=1 处理无源路由的包 net.ipv4.conf.all.accept_source_route=0 net.ipv4.conf.default.accept_source_route=0 关闭sysrq功能 kernel.sysrq=0 core文件名中添加pid作为扩展名 kernel.core_uses_pid=1 开启SYN洪水攻击保护 net.ipv4.tcp_syncookies=1 修改消息队列长度 kernel.msgmnb=65536 kernel.msgmax=65536 设置最大内存共享段大小bytes kernel.shmmax=68719476736 kernel.shmall=4294967296 timewait的数量，默认180000 net.ipv4.tcp_max_tw_buckets=20000 系统同时保持TIME_WAIT的最大数量，如果超过这个数字，TIME_WAIT将立刻被清除并打印警告信息。默认为180000 net.ipv4.tcp_sack=1 net.ipv4.tcp_window_scaling=1 net.ipv4.tcp_rmem=4096 87380 4194304 net.ipv4.tcp_wmem=4096 16384 4194304 net.core.wmem_default=8388608 net.core.rmem_default=8388608 net.core.rmem_max=16777216 net.core.wmem_max=16777216 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目 net.core.netdev_max_backlog=662144 web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn限制到128，而nginx 定义的NGX_LISTEN_BACKLOG 默认为511，所以有必要调整这个值 net.core.somaxconn=662144 <h1 id="限制仅仅是为了防止简单的dos-攻击">限制仅仅是为了防止简单的DoS 攻击 net.ipv4.tcp_max_orphans=662144 未收到客户端确认信息的连接请求的最大值 可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_max_syn_backlog=662144 net.ipv4.tcp_timestamps=0 内核放弃建立连接之前发送SYNACK 包的数量 net.ipv4.tcp_synack_retries=1 内核放弃建立连接之前发送SYN 包的数量 net.ipv4.tcp_syn_retries=1 启用timewait 快速回收 net.ipv4.tcp_tw_recycle=1 开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_mem=94500000 915000000 927000000 net.ipv4.tcp_fin_timeout=3 当keepalive 起用的时候，TCP 发送keepalive 消息的频度。缺省是2 小时 net.ipv4.tcp_keepalive_time=30 允许系统打开的端口范围 net.ipv4.ip_local_port_range=10000 65000 修改防火墙表大小，默认65536 net.netfilter.nf_conntrack_max=655350 net.netfilter.nf_conntrack_tcp_timeout_established=1200 确保无人能修改路由表 net.ipv4.conf.all.accept_redirects=0 net.ipv4.conf.default.accept_redirects=0 net.ipv4.conf.all.secure_redirects=0 net.ipv4.conf.default.secure_redirects=0 sysctl -p 使配置生效 系统连接数的优化 查看当前系统允许打开的文件数（没修改的话就是1024） ulimit -n 编辑修改/etc/security/limits.conf 在末尾添加如下代码， soft noproc 65535 hard noproc 65535 soft nofile 65535 hard nofile 65535 修改系统运行打开的最大连接数 ulimit -SHn 65535 nginx.conf的优化配置 nginx 进程数，建议按照cpu 数目来指定，一般为它的倍数 (如,2个四核的cpu计为8)。 worker_processes 8; 这个指令是指当一个nginx 进程打开的最多文件描述符数目，理论值应该是最多打开文 件数（ulimit -n）与nginx 进程数相除，但是nginx 分配请求并不是那么均匀，所以最好与ulimit -n的值保持一致。 现在在linux2.6内核下开启文件打开数为65535，worker_rlimit_nofile就相应应该填写65535。 worker_rlimit_nofile 65535; useepoll; 使用epoll 的I/O 模型 ( 补充说明: 与apache相类，nginx针对不同的操作系统，有不同的事件模型 A）标准事件模型 Select、poll属于标准事件模型，如果当前系统不存在更有效的方法，nginx会选择select或poll B）高效事件模型 Kqueue：使用于 FreeBSD 4.1+, OpenBSD 2.9+, NetBSD2.0 和 MacOS X. 使用双处理器的MacOS X系统使用kqueue可能会造成内核崩溃。 Epoll: 使用于Linux内核2.6版本及以后的系统。 /dev/poll：使用于 Solaris 7 11/99+, HP/UX 11.22+(eventport), IRIX 6.5.15+ 和 Tru64 UNIX 5.1A+。 Eventport：使用于 Solaris 10. 为了防止出现内核崩溃的问题，有必要安装安全补丁。 ) 每个进程允许的最多连接数， 理论上每台nginx服务器的最大连接数为worker_processes*worker_connections。 worker_connections 65535; keepalive 超时时间。 keepalive_timeout 60; 客户端请求头部的缓冲区大小，这个可以根据你的系统分页大小来设置，一般一个请求头的大小不会超过1k，不过由于一般系统分页都要大于1k，所以这里设置为分页大小。 client_header_buffer_size 4k; 7.这个将为打开文件指定缓存，默认是没有启用的，max 指定缓存数量，建议和打开文件数一致，inactive是指经过多长时间文件没被请求后删除缓存。 open_file_cachemax=65535 inactive=60s; 这个是指多长时间检查一次缓存的有效信息。 open_file_cache_valid80s; open_file_cache 指令中的inactive参数时间内文件的最少使用次数，如果超过这个数字，文件描述符一直是在缓存中打开的，如上例，如果有一个文件在inactive时间内一次没被使用，它将被移除。 open_file_cache_min_uses 1; 开启进程复用 multi_accept on; 单个客户端在 keep-alive 连接上可以发送的请求数量，在测试环境中，需要配置个比较大的值。 keepalive_requests 200000; gzip相关配置 gzip on; gzip on; gzip_min_length 5k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 4; gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png; gzip_vary on; 缓存配置 location ~ .*.(gif|jpg|jpeg|png|bmp|swf|js|css)$ { expires 30d; } 引入lua库 lua_package_path “/nginxLua/openresty/lualib/resty/?.lua;;”; 配置调用执行ua代码 例 location /redis { default_type ‘text/html’; content_by_lua_file /lua/redis.lua; } 优化的nginx配置 user nobody; worker_processes 8; worker_rlimit_nofile 65535; error_log logs/error.log; error_log logs/error.log notice; error_log logs/error.log info; error_log off; pid logs/nginx.pid; events { use epoll; multi_accept on; #开启进程复用 worker_connections 65535; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; access_log off;#正式环境最好注释掉 sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 0; keepalive_requests 200000;# 单个客户端在 keep-alive 连接上可以发送的请求数量，在测试环境中，需要配置个比较大的值。 gzip on; #gzip on; gzip_min_length 5k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 4; gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png; gzip_vary on; lua_package_path "/nginxLua/openresty/lualib/resty/?.lua;;"; server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { root html; index index.html index.htm; } location /redis { default_type 'text/html'; content_by_lua_file /lua/redis.lua; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html # #error_page 500 502 503 504 /50x.html; #location = /50x.html { # root html; #} # proxy the PHP scripts to Apache listening on 127.0.0.1:80 # #location ~ .php$ { # proxy_pass http://127.0.0.1; #} # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000 # location ~ .php(.*)$ { root html; #fastcgi_pass unix:/dev/shm/fpm-cgi.sock; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcgi_split_path_info ^(.+.php)(.*)$; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_param PATH_INFO $fastcgi_path_info; fastcgi_param PATH_TRANSLATED $document_root$fastcgi_path_info; include fastcgi_params; } location ~ .*.(gif|jpg|jpeg|png|bmp|swf|js|css)$ { expires 30d; } # deny access to .htaccess files, if Apache's document root # concurs with nginx's one # #location ~ /.ht { # deny all; #} } # another virtual host using mix of IP-, name-, and port-based configuration # #server { # listen 8000; # listen somename:8080; # server_name somename alias another.alias; # location / { # root html; # index index.html index.htm; # } #} # HTTPS server # #server { # listen 443 ssl; # server_name localhost; # ssl_certificate cert.pem; # ssl_certificate_key cert.key; # ssl_session_cache shared:SSL:1m; # ssl_session_timeout 5m; # ssl_ciphers HIGH:!aNULL:!MD5; # ssl_prefer_server_ciphers on; # location / { # root html; # index index.html index.htm; # } #} } php-fpm配置优化 配置目录：/etc/php-fpm.d/www.conf php-fpm初始/空闲/最大worker进程数 pm.max_children = 300 pm.start_servers = 20 pm.min_spare_servers = 5 pm.max_spare_servers = 35 最大处理请求数是指一个php-fpm的worker进程在处理多少个请求后就终止掉，master进程会重新respawn一个新的。 这个配置的主要目的是避免php解释器或程序引用的第三方库造成的内存泄露。 pm.max_requests = 10240 所有配置修改都要记得重启服务，确保配置加载 三、压力测试 测试项目 worker_rlimit_nofile（最大可用文件描述符数量） worker_connections 单个进程允许的最大连接数 worker_processes 服务开启的进程数 keepalive_timeout自动关闭连接时间 multi_accept是否开启进程复用 gzip_comp_level keepalive_requests单个客户端在 keep-alive 连接上可以发送的请求数量 测试数据（点击可以下载）： 参数设置： worker_rlimit_nofile worker_connections worker_processes keepalive_timeout multi_accept gzip_comp_level keepalive_requests 65535 65535 8 0 on 4 65535 |
|
|
