Terracotta + Apache + Tomcat 负载均衡实践篇



Terracotta + Apache + Tomcat 负载均衡实践篇

前言

这两天在学习ehcache分布式缓存方案时接触到了Terracotta。几年前刚做开发工作时想用Terracotta集群SpringBeans，当时网上资料少，尝试很久没成功就没继续下去了。

于是我又在网上搜罗一些资料，发现这玩意已经很成熟了，有很多深度应用的产品，分布式缓存、调度等。引用网上的描述：

[plain] view plaincopy

  1. Terracotta是一款由美国Terracotta公司开发的著名开源Java集群平台。它在JVM与Java应用之间实现了一个专门处理集群功能的抽象层，以其特有的增量检测、智能定向传送、
  2. 分布式协作、服务器镜像、分片等技术，允许用户在不改变现有系统代码的情况下实现单机Java应用向集群话应用的无缝迁移。使得用户可以专注于商业逻辑的开发，
  3. 由Terracotta负责实现高性能、高可用性、高稳定性的企业级Java集群

运行环境

  1. JDK1.6.22 + Tomcat6 + Apache2.2.19 + Terracotta Open Source 3.5.2 + zlib1.2.3（安装apache需要）
  2. 模拟双机环境：本机Window 7操作系统（布署Tomcat，Terracotta，IP:192.168.1.51 ） + VMware 虚拟机 Linux系统（布署Apache，Tomcat，IP:192.168.1.207）。
  3. 在Terracotta + Apache + Tomcat 负载均衡构架中，Terracotta 起到session服务器作用，实时多机间的session缓存与复制（JVM Field级别，比Tomcat自带的效率高）。

实施布骤

win7系统

1.安装Terracotta(下载地址：http://www.terracotta.org/dl/oss-download-catalog)下载后直接点击安装，完成后关注安装目录下的sessions目录，里面有其于jetty服务器的example和依赖的jar。其中的cart.war被我用做集群的测试工程。


2.安装Tomcat JDK等省略（网上查资料）。

linux系统

1.安装 Tomcat JDK等省略（网上查资料）

2.安装  zlib-1.2.3.tar.gz（下载地址：http://ishare.iask.sina.com.cn/f/14331439.html?from=like）， apache服务器安装时没有这个库会报错。

将zlib-1.2.3.tar.gz拷贝至/usr/目录

# tar -zxvf zlib-1.2.3.tar.gz

# cd zlib-1.2.3

# ./configure

# make

# make install

3. 安装 Apache 服务器（下载地址：http://httpd.apache.org/download.cgi）


将 httpd-2.2.19.tar.gz 拷贝到/usr/目录

# tar -zxvf httpd-2.2.19.tar.gz

# cd /usr/httpd-2.2.19/

#./configure –prefix=/usr/local/apache –enable-modules=so –enable-mods-shared=all –enable-proxy –enable-proxy-connect –enable-proxy-ftp –enable-proxy-http –enable-proxy-ajp –enable-proxy-balancer –enable-rewrite

# make
# make install
4.apache已被安装至/usr/local/apache
第二步、配置集群
配置Tomcat（两台机器的Tomcat相同）
1.拷贝${Terracotta_Home}/sessions/terracotta-session-1.1.2.jar和${Terracotta_Home}/common/terracotta-toolkit-1.3-runtime-3.2.0.jar至tomcat安装目录的lib目录。
2.修改conf/context.xml文件

  1. <Context>
  2.     <!– Default set of monitored resources –>
  3.     <WatchedResource>WEB-INF/web.xml</WatchedResource>
  4.     <!–加上这一句，Terracotta 代理HttpServletSession–>
  5.     <Valve className=”org.terracotta.session.TerracottaTomcat60xSessionValve” tcConfigUrl=”192.168.1.51:9510″/>
  6. </Context>

3.修改conf/server.xml文件
a.保证 <Connector port=”8009″ protocol=”AJP/1.3″ redirectPort=”8443″ />没有被注释，AJP协议是Apache负载均衡时与后端主机的二进制 通讯协议。
b.如果配置粘性Session，需要配置服务器路径名jvmRoute。

[plain] view plaincopy

  1. <!–粘性Session配置
  2. <Engine name=”Standalone” defaultHost=”localhost” jvmRoute=”jvm1″>  <pre name=”code” class=”plain”>–></pre><pre name=”code” class=”plain”><Engine name=”Standalone” defaultHost=”localhost”>
  3. </pre><br>

配置Apache服务器
1.Proxy配置，创建文件并编辑以下内容，并保存为/usr/local/apache/conf/extra/httpd-modproxy.conf

[plain] view plaincopy

  1. <Location /server-status>
  2.     SetHandler server-status
  3.     Order Deny,Allow
  4.     Deny from all
  5.     Allow from all
  6. </Location>
  7. # 监控负载主机活动状态,响应连接与流量等，生产环境建议拿掉。
  8. <Location /balancer-manager>
  9.     SetHandler balancer-manager
  10.     Order Deny,Allow
  11.     Deny from all
  12.     Allow from all
  13. </Location>
  14. ProxyRequests Off
  15. <pre name=”code” class=”plain”>ProxyPass /cart balancer://tomcatcluster nofailover=On
  16. </pre><span style=”color:#FF0000;”># 粘性Session使用以下配置<br># ProxyPass /cart balancer://tomcatcluster  stickysession=JSESSIONID|jsessionid nofailover=On</span><br># 反向代理,响应头信息的 Content-Location<br>ProxyPassReverse /cart balancer://tomcatcluster<br><Proxy balancer://tomcatcluster>    <br><span style=”color:#FF0000;”># 粘性Session配置<br># BalancerMember ajp://192.168.1.51:8009/cart loadfactor=1 route=jvm1<br># BalancerMember ajp://192.168.1.207:8009/cart loadfactor=1 route=jvm2</span><br>  BalancerMember ajp://192.168.1.51:8009/cart <br>  BalancerMember ajp://192.168.1.207:8009/cart <br><span style=”color:#FF6666;”># status=+H 为配置热备,当所有机器都over时，才会请求该机器。<br># BalancerMember http://192.168.1.51:8009 status=+H <br># 按照权重   <br># ProxySet lbmethod=bytraffic    <br># 按负载量，也就是负载少的派发请求  <br># ProxySet lbmethod=bybusyness<br># 按请求次数 </span><br>  ProxySet lbmethod=byrequests<br></Proxy>

注意：

[plain] view plaincopy

  1. 1.ProxyPass 配置的是映射策略，当使用粘性Session策略时stickysession=JSESSIONID|jsessionid是必须的。
[plain] view plaincopy

  1. 2.BalancerMember 配置的是子机的地址。
  2. 3.ProxySet配置的是负载均衡策略bytraffic、bybusyness、byrequests，我这里配置的是按请求次数。
  3. 4.当使用权重负载策略时BalancerMember可加上loadfactor权重属性。
  4. 5.当需要粘性Session时BalancerMember属要加上route路线属性，对应于Tomcat的context.xml中的配置。

2.修改conf/httpd.conf文件
a.确保以下几点未被注释

[plain] view plaincopy

  1. LoadModule proxy_module modules/mod_proxy.so
  2. LoadModule proxy_connect_module modules/mod_proxy_connect.so
  3. LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
  4. LoadModule proxy_http_module modules/mod_proxy_http.so
  5. LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
  6. LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
  7. LoadModule status_module modules/mod_status.so
b.增加以下内容用于导入Proxy配置文件：
[plain] view plaincopy

  1. # Proxypass Config
  2. Include conf/extra/httpd-modproxy.conf

目前为止配置已大功告成微笑

第三步、启动服务
1.先启动Terracotta服务器，否则Tomcat会因为找不到Terracotta而Warn。
${Terracotta_home}/bin/start-tc-server.bat
2.启动两台机器的Tomcat，
${tomcat_home}/bin/startup.bat或startup.sh(linux系统)，如果与Terracotta连接成功，可以看到如下画面。

3.启动Apache服务器
# /usr/local/apache/bin/apachectl start（停止服务是apachectl  stop）。
第四步、测试结果
前面提供cart.war示例，我已预先放到tomcat的webapp下。
打开浏览器输入：http://192.168.1.207/cart，显示映射成功：
多刷新几次页面后查看http://192.168.1.207/balancer-manager，Elected均匀分布，负载均衡起作用了。

把基中一台Tomcat关闭，再次刷新页面，没有任何问题。用户完全感觉不出来主机故障。这就是传说中的故障转移吧。。呵呵，在公司没机会实践只能自己弄来玩玩而已了。奋斗

再打开Terracotta 控制台看看，Session被缓存在主机上了。有两个Session是因为我开了两个浏览器，实际上负载均衡的两台Tomcat是共享Session的，当然也可以把Web应用设计成无用户状态的，那就不需要Terracotta 。

 

 

 

 

 

 

版权声明：本文为博主原创文章，未经博主允许不得转载。