Apache与Tomcat整合实现动静分离与负载均衡的配置实践 ? Hey! Linux.

WindySky 2016-03-03

展开全文

参考资料：
http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/

通常，将Apache与Tomcat整合主要出于以下几个原因：
1. 提升对静态文件的处理性能，所有静态文件均由前端的Apache响应，其它与JSP相关的请求分发给后端的Tocmat处理；
2. 利用Apache服务器来做负载均衡以及容错，前端的Apache可作为一个负载均衡器，将请求分发给后端的多台Tomcat，当某一台Tomcat宕机时，可以将其暂时移出集群；
3. 无缝的升级应用程序，在对后端的多台Tomcat进行升级部署时，将其暂时移出集群来实现平滑升级。

而关于Apache与Tomcat整合，有3种方式可以实现：
1. mod_jk
mod_jk 是通过 AJP 协议与 Tomcat 服务器进行通讯的，Tomcat 默认的 AJP Connector 的端口是 8009。JK 本身提供了一个监控以及管理的页面jkstatus，通过 jkstatus 可以监控 JK 目前的工作状态以及对到 tomcat 的连接进行设置；

2. http_proxy
这是利用 Apache 自带的 mod_proxy 模块使用代理技术来连接Tomcat。在配置之前请确保是否使用的是 2.2.x 版本的 Apache 服务器。因为 2.2.x版本对这个模块进行了重写，大大的增强了其功能和稳定性。

3. ajp_proxy
ajp_proxy 连接方式其实跟 http_proxy 方式一样，也是由 mod_proxy 所提供的功能，但是通过 AJP 协议与 Tomcat 服务器进行通讯的，这一点又与mod_jk相同。

下面是具体的配置过程：
测试环境介绍：
Cluster：192.168.203.134
Tomcat Server:192.168.203.133
Tomcat Server:192.168.203.135
注：以下所有配置过程均在Cluster上完成。

1. 安装配置Apache
# wget http://apache.//httpd/httpd-2.2.18.tar.bz2

# tar xjvf httpd-2.2.18.tar.bz2

# cd httpd-2.2.18
# ./configure --prefix=/opt/apache2 --enable-so --enable-dav --enable-dav-fs --enable-maintainer-mode --with-included-apr --enable-rewrite --enable-ssl --enable-proxy --enable-proxy-http

# make
# make install

创建apache用户
# useradd -M apache

修改apache配置文件，让它以用户apache身份运行
# vi /opt/apache2/conf/httpd.conf
============================
User apache
Group apache
============================

2. 通过 Apache mod_jk 方式实现与Tomcat整合
# wget http://labs.mop.com/apache-mirror//tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.35-src.tar.gz
# tar xzvf tomcat-connectors-1.2.35-src.tar.gz
# cd tomcat-connectors-1.2.35-src/native
# ./configure --with-apxs=/opt/apache2/bin/apxs
# make
注：不需要执行make install的过程，仅需在编译后复制mod_jk.so文件

# cp ./apache-2.0/mod_jk.so /opt/apache2/modules/

# cd /opt/apache2/conf/

创建 mod_jk 主配置文件
# vim extra/httpd-jk.conf

# Load the jk module
LoadModule jk_module modules/mod_jk.so

# The location of workers.properties
JkWorkersFile conf/extra/httpd-jk-workers.properties

# The location of jk logs
JkLogFile logs/httpd-jk.log

# The location of jk mount file
JkMountFile conf/extra/httpd-jk-uriworkermap.properties

# The jk log level [debug/error/info]
JkLogLevel info

# The log format
JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"

# JkOptions indicate to send SSL KEY SIZE, 
JkOptions  +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format 
JkRequestLogFormat "%w %V %T"

创建 mod_jk 集群参数配置文件
# vim extra/httpd-jk-workers.properties

# list the workers by name

worker.list=DLOG4J, status #创建名为DLOG4J与status的worker

# localhost server 1
# ------------------------
worker.s1.port=8009 #后端Tomcat服务器的默认AJP端口
worker.s1.host=192.168.203.133 #后端Tomcat服务器的IP
worker.s1.type=ajp13 #采用AJP协议进行通信

# localhost server 2
# ------------------------
worker.s2.port=8009 #后端Tomcat服务器的默认AJP端口
worker.s2.host=192.168.203.135 #后端Tomcat服务器的IP
worker.s2.type=ajp13 #采用AJP协议进行通信
#worker.s2.stopped=1 #是否暂停该服务器的开关

worker.DLOG4J.type=lb #采用负载均衡的方式
worker.retries=3 
worker.DLOG4J.balanced_workers=s1, s2 #负载均衡中包括server 1与server 2两台Tomcat服务器
worker.DLOG4J.sticky_session=1

worker.status.type=status #在worker status中对集群状态进行监控

创建 mod_jk URL参数文件
vim extra/httpd-jk-uriworkermap.properties

/*=DLOG4J #所有的请求都交给DLOG4J处理
/jkstatus=status #在/jkstatus页面中监控集群状态

!/*.gif=DLOG4J #过滤gif
!/*.jpg=DLOG4J #过滤jpg
!/*.png=DLOG4J #过滤png
!/*.css=DLOG4J #过滤css
!/*.js=DLOG4J #过滤js
!/*.htm=DLOG4J #过滤htm
!/*.html=DLOG4J #过滤html

修改Apache主配置文件，使其关联mod_jk主配置文件
# vim httpd.conf

# The JK connector settings
Include conf/extra/httpd-jk.conf

启动Apache
# /opt/apache2/bin/apachectl start

通过统计监听页面，可以看到后端服务器的状态，如下图所示：
http://192.168.203.134/jkstatus

通过浏览器访问http://192.168.203.134/index.jsp，可以发现，在多次刷新之后，请求会随机分配到后端的Tomcat服务器上。
而访问http://192.168.203.134/index.html，请求会直接分配到前端的Apache上。

2. 通过 Apache mod_proxy 方式实现与Tomcat整合
进入Apache源码包，添加所需的模块
# cd httpd-2.2.18/modules
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy.c proxy/proxy_util.c
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy_http.c
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy_connect.c
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy_ajp.c
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy_balancer.c
# /opt/apache2/bin/apxs -c -i -a generators/mod_status.c

添加完成后，在httpd.conf中可以看到以下配置：
---
# Example:
# LoadModule foo_module modules/mod_foo.so
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
LoadModule status_module modules/mod_status.so
---

# cd /opt/apache2/conf/

创建 mod_proxy 主配置文件
vim extra/httpd-proxy.conf

ProxyPassMatch /*.gif$ ! #过滤gif
ProxyPassMatch /*.jpg$ ! #过滤jpg
ProxyPassMatch /*.png$ ! #过滤png
ProxyPassMatch /*.css$ ! #过滤css
ProxyPassMatch /*.js$ ! #过滤js
ProxyPassMatch /*.htm$ ! #过滤htm
ProxyPassMatch /*.html$ ! #过滤html
ProxyPass /server-status ! #过滤server-stauts监控页面
ProxyPass /balancer-manager ! #过滤balancer-manager监控页面

ProxyPass / balancer://cluster/ #创建集群cluster
<Proxy balancer://cluster/>
BalancerMember http://192.168.203.133:8080/ #设置cluster成员
BalancerMember http://192.168.203.135:8080/ #设置cluster成员
</Proxy>

<Location /server-status> #设置server-stauts监控页面
SetHandler server-status
Order Deny,Allow
Deny from all
Allow from all
</Location>

<Location /balancer-manager> #设置balancer-manager监控页面
SetHandler balancer-manager
Order Deny,Allow
Deny from all
Allow from all
</Location>

修改Apache主配置文件，使其关联mod_proxy主配置文件
vim httpd.conf

# The Proxy settings
Include conf/extra/httpd-proxy.conf

启动Apache
# /opt/apache2/bin/apachectl start

通过监控页面，可以看到后端服务器的状态，如下图所示：
http://192.168.203.134/server-stauts
http://192.168.203.134/balancer-manager

3. 通过 Apache mod_proxy_ajp 方式实现与Tomcat整合
整个配置过程与mod_proxy完全相同,仅需要在配置文件 conf/extra/httpd-proxy.conf 中将http协议修改为ajp协议即可，如下所示：

...
ProxyPass / balancer://cluster/
<Proxy balancer://cluster/>
BalancerMember ajp://192.168.203.133:8009/
BalancerMember ajp://192.168.203.135:8009/
</Proxy>
...

4. 其它
如果出现 "is built-in and can't be loaded" 类似的错误提示，则代表模块以及集成到了Apache当中，此时需要注释掉相关的LoadModule配置；
鉴于Nginx的高效，通过设置rewrite规则实现与Tomcat集成，处理能力其实比Apache更好；
如果仅仅是为了提升Tomcat的静态文件处理能力，则仅需要考虑集成apr模块即可。