关键词：nginx tomcat 多虚拟主机 集群 负载均衡

虽然夜深了，但是还是解决了这个困扰我一个晚上的问题，记录下来备查。

接着我前不久写的这一篇来的：Linux下nginx和tomcat的整合http://hi.baidu.com/gnaiqeh/blog/item/2f43dac9e98d781a7f3e6fc7.html

举个例子，现在是这样的情况：我现在有a、b、c三个不同的应用，每个Tomcat集群机（一共3个）上都建立了这三个应用的虚拟主机，我要把这三个应用用一个nginx来负载均衡。

中间测试了很多次，失败的过程就不多说了，直接说最终解决的办法。

首先要把3个虚拟主机的域名（a.gnaiqeh.cn、b.gnaiqeh.cn、c.gnaiqeh.cn）都指向到nginx机的公网ip上。

然后还是修改nginx的配置文件nginx.conf：

配置文件中upstream段还是保持不变，依旧是3个tomcat集群机的地址及负载因子：
    upstream gnaiqeh {
      server 192.168.0.11:8080 weight=1;
      server 192.168.0.12:8080 weight=1;
      server 192.168.0.13:8080 weight=1;
    }

因为有3个应用，所以应该有3个server段，这里只写其中一个，其他两个只需要修改一下server_name即可：
    server {
        listen       80;
        server_name a.gnaiqeh.cn; #另外两个是b.gnaiqeh.cn、c.gnaiqeh.cn
        location / {
            root   html;
            index index.jsp index.html index.htm;
            proxy_redirect off;
            proxy_set_header Host $host; #这一句至关重要
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://gnaiqeh;
        }

        error_page   500 502 503 504 /50x.html;
        location = /50x.html {
            root   html;
        }
    }

proxy_set_header是nginx的http代理模块中的一个指令。

在nginx中的默认proxy是只能对后面real server做端口转发的，而不能做域名转发，即默认的是：

proxy_set_header Host $proxy_host;

我们要通过域名转发就必须改为：

proxy_set_header Host $host;

最后修改tomcat的配置文件server.xml，主要是配置虚拟主机：
      <Host name="a.gnaiqeh.cn" appBase="webapps-a"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">
        <Context path="" docBase="/mnt/a" reloadable="true" crossContext="true"/>
      </Host>
      <Host name="b.gnaiqeh.cn" appBase="webapps-b"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">
        <Context path="" docBase="/mnt/b" reloadable="true" crossContext="true"/>
      </Host>
      <Host name="c.gnaiqeh.cn" appBase="webapps-c"
            unpackWARs="true" autoDeploy="true"
            xmlValidation="false" xmlNamespaceAware="false">
        <Context path="" docBase="/mnt/c" reloadable="true" crossContext="true"/>
      </Host>

3台集群机均改成上面一样的。

然后重启nginx，重启tomcat，测试访问三个域名都通过，打完收工。

本文将分为四个部分。第一部分阐述“什么是内网架设FTP”的问题。第二部分分析FTP协议的原理。第三部分阐述在内网中架设FTP服务器时会遇到的问题以及解决方法，使外网的用户能够访问位于内网的FTP服务器。第四部分为总结。建议读者能够将这五部分全部读完。如果只想要一个快速安装指南，那么请阅读第一部分和第四部分。

本文所使用的FTP服务器为proftpd。

内网FTP服务器的概念

设想下面的这种环境：几台计算机组成一个局域网，该局域网中拥有一台DHCP服务器负责为局域网中每台计算机分配IP地址。其中有一台计算机（或网络设备）作为网关（可以与DHCP服务器为同一台设备），网关通过拨号或其他方式连接到Internet，获取一个真实IP地址。局域网内的计算机通过网关的转发来实现与Internet的连接。我们定义该局域网内部为内网，相对地，定义Internet为外网。

举个例子，假设我们拥有两台计算机A、B和一个拥有拨号和DHCP功能的网关G。各自的网络配置如下：

网关G:
局域网IP地址：192.168.0.1（由网关硬件指定）
局域网子网掩码：255.255.255.0（由网关硬件指定）
广域网IP地址：12.34.56.78（拨号之后获得）
计算机A:
局域网IP地址：192.168.0.10（通过网关的DHCP功能获得）
局域网子网掩码：255.255.255.0（通过网关的DHCP功能获得）
网关：192.168.0.1（通过网关的DHCP功能获得）
计算机B:
局域网IP地址：192.168.0.11（通过网关的DHCP功能获得）
局域网子网掩码：255.255.255.0（通过网关的DHCP功能获得）
网关：192.168.0.1（通过网关的DHCP功能获得） 

这样，从A、B发出的所有网络请求都会被发送到网关G（192.168.0.1），网关再将这些请求变换之后通过12.34.56.78发送到Internet，以实现A、B与Internet的连接。

需要提醒一点的是，你的网关必须拥有端口映射（Port Mapping）的功能（也称转发，Forwarding），这是下文架设服务器的先决条件。所谓端口映射功能，就是指网关能够将从外网发送到网关的指定端口的包转发到内网中指定的IP地址上。举个例子，假如我们定义了如下一条规则：将端口21映射到192.168.0.10上。那么

从外网发送到网关的一个包，其信息为源地址：200.12.34.56:7890，目的地址：12.34.56.78:21

那么网关将修改该包的目的地址，结果为源地址：200.12.34.56:7890，目的地址：192.168.0.10:21

并将该包发送到局域网中的192.168.0.10上。这样对于192.168.0.10来说，这个包仿佛是从Internet上直接发给自己的一样。

FTP协议原理

一般我们说，FTP协议使用TCP端口21。实际上这这并不准确；FTP协议使用TCP的21端口传送的是控制命令，同时使用随机端口来传送数据。也就是说，下载一个文件至少需要在客户端与服务器之间建立两个TCP连接，这两个连接分别称为控制连接和数据连接。

控制连接总是由客户端主动连接服务器的21端口来建立的；而数据连接则不一定。根据数据连接的建立方式的不同，FTP传送方式可分为主动方式和被动方式两种。主动方式下，服务器连接客户端的某个端口以建立数据连接；被动方式下，客户端连接服务器的某个端口来建立数据连接。

主动方式的连接过程如下：

1. 客户端用随机端口连接服务器的21端口，建立控制连接，并发送用户名和密码进行登录。
2. 客户端打开一个随机端口P进行监听，并通过控制连接将自己的IP地址和P端口的信息通知服务器。
3. 服务器用自己的随机端口连接客户端的端口P，建立数据连接，并进行数据传送。
4. 数据传送完毕之后，数据连接断开。
5. 客户端通过控制连接发送结束命令，以断开控制连接，FTP交互过程结束。

被动方式的连接过程如下：

1. 客户端用随机端口连接服务器的21端口，建立控制连接，并发送用户名和密码进行登录。（与主动方式相同）
2. 客户端通过控制连接通知服务器使用被动方式。
3. 服务器选择一个随机端口P进行监听，并通过控制连接将自己的IP地址和P端口的信息通知客户端。
4. 客户端用自己的随机端口连接服务器的端口P，建立数据连接，并进行数据传送。
5. 数据传送完毕之后，数据连接断开。（与主动方式相同）
6. 客户端通过控制连接发送结束命令，以断开控制连接，FTP交互过程结束。（与主动方式相同）

举个实际的例子来说明。下文中以S:开头的为服务器返回的信息，C:开头的为客户端命令。主动方式：

S: 220 ProFTPD 1.2.10 Server（控制连接建立，服务器返回欢迎信息）
C: USER foo（发送用户名）
S: 331 Password required for foo.
C: PASS mypassword （发送密码）
S: 230 User foo logged in. （登录成功）
C: SYST （获取服务器类型）
S: 215 UNIX Type: L8
C: PWD （获取当前目录）
S: 257 "/" is current directory.
C: PORT 192,168,0,11,10,171 （客户端监听端口2731，并将IP地址和端口2731通过PORT命令通知服务器。2731为10*256+171）
S: 200 PORT command successful
C: TYPE A （设置传输方式为文本方式）
S: 200 Type set to A
C: LIST （发出获取文件列表的命令）
S: 150 Opening ASCII mode data connection for file list （服务器尝试连接客户端的2731端口以建立数据连接）
（通过数据连接发送文件列表……）
S: 226 Transfer complete. （文件列表传送完毕，数据连接断开）
C: QUIT （退出命令） 

被动方式：

S: 220 ProFTPD 1.2.10 Server（控制连接建立，服务器返回欢迎信息）
C: USER foo（发送用户名）
S: 331 Password required for foo.
C: PASS mypassword （发送密码）
S: 230 User foo logged in. （登录成功）
C: SYST （获取服务器类型）
S: 215 UNIX Type: L8
C: PWD （获取当前目录）
S: 257 "/" is current directory.
C: PASV （通知服务器使用被动方式）
S: 227 Entering Passive Mode (192,168,0,10,132,29).
（服务器监听端口33821，并将IP地址和端口33821通过PORT命令通知服务器。33821为132*256+29）
C: TYPE A （设置传输方式为文本方式）
S: 200 Type set to A
C: LIST （发出获取文件列表的命令）
S: 150 Opening ASCII mode data connection for file list （客户端尝试连接服务器的33821端口以建立数据连接）
（通过数据连接发送文件列表……）
S: 226 Transfer complete. （文件列表传送完毕，数据连接断开）
C: QUIT （退出命令）

内网FTP服务器的问题及解决方案

在这里我们沿用第一部分的网络实例，并假设FTP服务器架设在计算机A（192.168.0.10）上。

如何使外网的客户端能够与内网的FTP服务器建立控制连接

由于控制连接的服务器端端口为21，因此我们只需要在网关的端口映射上添加一条规则，将21端口映射到192.168.0.10即可。

如何建立数据连接

在主动方式下，数据连接由服务器发起，相当于内网的服务器主动去连接外网的客户端，这种连接可以穿过网关正常建立，因此不需要做任何特殊设置即可实现。问题是被动连接。由于被动方式下服务器会监听随机端口并需要将自己的IP地址和端口号通知客户端，这样就产生了以下两个问题： a) 服务器仅知道自己的内网IP地址（192.168.0.10），它会将这个IP地址通知给外网的客户端，而客户端从外网是无法连接这个内网IP地址的（客户端不知道该如何路由）； b) 服务器需要监听随机端口，范围为1024-65535，出于安全起见，也考虑到可能存在其它的服务也使用该范围内的端口，因此不可能在网关上将这些端口全部映射给192.168.0.10。

由于以上的问题的存在，我们经常可以看到连接服务器时下方的连接日志停在

150 Opening ASCII mode data connection for file list 

处迟迟不动，这就是因为被动数据连接无法建立。

对此proftpd提供了如下的解决方案。

1. 通过MasqueradeAddress命令指定服务器通知给客户端的IP地址。即使得FTP服务器不再将自己的内网IP地址192.168.0.10通知给客户端，而是将MasqueradeAddress命令指定的IP地址通知给客户端。在proftpd.conf中添加如下命令：

   MasqueradeAddress 12.34.56.78 （指定为网关的外网地址） 

   如果网关的外网地址不固定（例如通过拨号获取IP的情况），那么你需要为你的网关申请一个动态域名，并用MasqueradeAddress命令将域名指定给服务器。

   MasqueradeAddress myftpserver.vicp.net 

2. 通过PassivePorts命令来限制被动方式下监听的端口的范围。例如

   PassivePorts 60000 65535 

   这样服务器在被动方式下将仅使用60000-65535之间的端口，而不是原来的1024-65535。然后在网关上添加规则，将60000-65535的所有端口映射到192.168.0.10上。

这样，外网的客户端就可以正常访问FTP服务器了。

但是上面的方法并不是十全十美的。我们用MasqueradeAddress命令强制FTP通知网关的IP地址，这对于客户端位于外网的情况下是正确的，但是当客户端位于内网时，客户端可能会无法解析网关的IP地址，导致无法建立数据连接。

总结

内网架设FTP服务器的方法：

1. 在proftpd.conf中利用MasqueradeAddress命令将网关的IP地址或域名指定给FTP服务器，例如

   MasqueradeAddress myftpserver.vicp.net 

   或

   MasqueradeAddress 12.34.56.78 

   然后通过PassivePorts命令来限制被动方式下监听的端口的范围，例如

   PassivePorts 60000 65535 

2. 在网关的端口映射上将第一步中指定的端口范围（例中为60000-65535）以及FTP端口21映射到FTP服务器的内网地址上。

Centos5.3+ProFTPD1.3.2+Mysql5.1配置FTP服务

Allen Jelver 2009-12-17

 废话少说了，就是利用Mysql做FTP校验，即通过数据库管理FTP用户信息，检验登录等......,进入正题.>>

一、           安装Mysql软件包(64位)：

MySQL-server-community-5.1.38-0.rhel5.x86_64.rpm MySQL-shared-community-5.1.38-0.rhel5.x86_64.rpm MySQL-client-community-5.1.38-0.rhel5.x86_64.rpm MySQL-devel-community-5.1.38-0.rhel5.x86_64.rpm

资源包可以在http://ftp.up.ac.za/pub/windows/MySQL/Downloads/MySQL-5.1/下载，本教程对Mysql的rpm方式安装省略，需要注意的是devel包是必须安装的，只有安装devel包后才能生成/usr/include/mysql,32位机器安装的lib路径要注意一下是/usr/lib/mysql即可，关于msyql的安装网上很多资料都可以参考。

二、        安装proftpd包

下载proftpd-1.3.2.tar.gz

wget http://ftp.ntu.edu.tw/proftpd/distrib/source/proftpd-1.3.2.tar.gz

cd /usr/local #这是我放置proftpd-1.3.2.tar.gz的目录 tar zxvf proftpd-1.3.2.tar.gz cd proftpd-1.3.2 ./configure --with-modules=mod_sql:mod_sql_mysql:mod_quotatab:mod_quotatab_sql --with-includes=/usr/include/mysql --with-libraries=/usr/lib64/mysql make make install

首先需要声明的是以下的配置会跟你的安装目录有关，安装成功后则会生成/usr/local/etc/目录，其中包含核心配置文件proftpd.conf，同时在/usr/local/sbin下有proftpd可执行文件，通常用来启动服务用的，其中pid文件文件是自启动脚本中创建的，这部分在后面会讲到。对以上两个目录做查看，如下图所示：

说明：若在make或make install中有错则需要注意是否是gcc方面的问题导致。

三、        配置Mysql认证

认证这部分主要是配置proftpd.conf文件，在修改配置文件之前最好养成先备份一个文件的习惯，否则修改出错后没有办法找到原来的版本。并在proftpd.conf中加入以下内容，

1．修改组信息

# Set the user and group under which the server will run. User                           nobody Group                          nogroup 将Group对应的nogroup修改为如下的nobody # Set the user and group under which the server will run. User                                                nobody Group                                             nobody

2．加入数据校验配置

# 屏蔽服务器版本信息 ServerIdent off # 数据库连接的信息，ftpusers是数据库名， localhost是主机名，3306是端口号，root是连接数据库的用户名，123456是密码。 SQLConnectInfo ftpusers@localhost:3306 root 123456 # 数据的认证方式 # Backend表示用户认证方式为MySQL数据库的认证方式  # Plaintext表示明文认证方式，排在最前面的为最先使用的方式 SQLAuthTypes Backend Plaintext #指定用来做用户认证的表的有关信息。("users"和"grps"是数据表名字，其后为字段信息) SQLUserInfo users userid passwd uid gid home shell SQLGroupInfo grps grpname gid members #设置如果shell为空时允许用户登录： RequireValidShell off   #数据库的鉴别                                       SQLAuthenticate users groups usersetfast groupsetfast #如果home目录不存在，则系统会为根据它的home项新建一个目录： #注意SQLHomedirOnDemand已经在1.3.2以后的版本中改名为CreateHome CreateHome on #设置系统运行日志和文件传输日志 SystemLog /var/log/proftpd.syslog TransferLog /var/log/proftpd.transferlog

3．建立相应的系统用户

在本例中，只整个FTP服务只提供一个有效的系统用户ftpuser和组ftpgrp，当然你也可以设置多个系统用户。但出于安全的考虑，我只设一个，用他来启动FTP daemon，并把所有的FTP用户映射过这个用户。

先建立ftpgrp组：
groupadd -g 5500 -r ftpgrp    //增加一个组ID为5500的ftpgrp组

建立ftpuser用户：
useradd -u 5501 -g 5500 -d /home/ftp -s /bin/bash -r ftpuser
为ftpuser建立home，把所有的FTP user 活动空间全放在此目录下：

mkdir /home/ftp chown ftpuser /home/ftp chgrp ftpgrp  /home/ftp

4．初始化数据库

1）创建数据库和表

create database ftpusers;

use ftpusers;

建立一个用户表USERS，这个表是必须的：

create table USERS ( userid TEXT NOT NULL, passwd TEXT NOT NULL, uid INT NOT NULL, gid INT NOT NULL, home TEXT, shell TEXT );

此表是为了用户认证所需要的，其中userid、passwd是必不可少的，userid是用做FTP服务的用户名；passwd是指此用户的密码；uid是系统用户的ID，也就是所映射的系统用户；gid是所属系统组的ID；home是该用户所在的HOME目录；shell可以为该用户指定相应的shell。当然你可以建立更多的字段，例如：用来记录用户登录次数的count，或者是日期的date，如果你对配置熟悉了之后，你可以根据自己的喜欢添加更多的功能。

另外，若需要对组成员管理之类的功能则需要添加GRPS表：

create table GRPS ( grpname TEXT NOT NULL, gid SMALLINT NOT NULL, members TEXT NOT NULL );

其中grpname是组的名称，gid是系统组的ID，members是组的成员。注意：多成员，他们之间要用逗号隔开，不能使用空格。

2）增加用户,在数据库USERS表和GRPS表中插入数据：

INSERT INTO USERS (userid, passwd, uid, gid, home, shell) values ('allen', '123456', '5501', '5500', '/home/ftp/allen', "/usr/local/test.sh"); INSERT INTO USERS (userid, passwd, uid, gid, home, shell) values ('kitty', '222222', '5502', '5500', '/home/ftp/kitty', "/usr/local/test2.sh"); INSERT INTO GRPS (grpname,gid,members) values ('ftpgrp','5500','allen,kitty'); flush privileges;   //刷新数据库

四、        配置自启动服务

从编译安装路径中拷贝proftpd.init.d文件到/etc/rc.d/init.d/中，并重命名为proftpd，授予可执行权限后，通过chkconfig --add命令将其加为自启动服务即可，具体操作如下：  

cp /usr/local/proftpd-1.3.2/contrib/dist/rpm/proftpd.init.d /etc/rc.d/init.d/ cd /etc/rc.d/init.d mv proftpd.init.d proftpd chmod +x proftpd #加入为服务 chkconfig --add proftpd chkconfig --level 3 proftpd on #这样，就可以分别通过以下方式来完成启动、停止、重启Proftpd的工作了 service profptd start service proftpd stop service proftpd restart

常用指令：

pgrep proftpd 注：查看服务器是不是启动起来了；如果没有进程，说明失败；
pkill proftpd 注：杀死proftpd的进程；也就是关掉服务器；

查看proftpd日志：tail -f /var/log/proftpd.syslog

查看proftpd传输文件日志：tail -f /var/log/proftpd.transferlog

五、        配置磁盘限额

暂时未做，以后更新


后记：
很多资料都是来参考网络上的资料整理的，配置环境测试通过，所以本文章可以随意转载,不过最好也能够标注原帖出处:）

主要参考：
http://blog.ixpub.net/html/92/10996892-2512.html
http://hi.baidu.com/fei33352/blog/item/73acf881b0972bddbc3e1ed2.html