www.skyhe.com  192.168.10.252 bbs.skyhe.com  192.168.10.56 photo.skyhe.com  192.168.10.119

192.168.10.252  www.skyhe.com 192.168.10.252  bbs.skyhe.com 192.168.10.252  photo.skyhe.com

# visible name visible_hostname cache.example.com     # cache config: space use 1G and memory use 256M cache_dir ufs /usr/local/squid/cache 1024 16 256  cache_mem 256 MB cache_effective_user squid cache_effective_group squid     # 以上主机名和缓存设置比较简单，略过     # 关键 1 http_port 80   # squid监听的端口，必须为80 # ------(你不想用户用www.skyhe.com:8001访问你的网站吧？；)     # 关键 2 httpd_accel_host virtual #加速器的主机名称或者IP地址。 # *如果是对多个域名加速，请填写"virtual"(虚拟主机模式) httpd_accel_port 8000    #加速器的工作端口，和web服务器一致 httpd_accel_single_host off httpd_accel_uses_host_header on httpd_accel_with_proxy off  #是否同时运行代理服务     # 关键 3 - TAG: acl节点的设置 # 设定可以访问的域名别名 acl HostA dstdomain www.skyhe.com acl HostB dstdomain bbs.skyhe.com acl HostC dstdomain photo.skyhe.com # 加速器采用http协议在8000端口监听 acl acceleratedProtocol protocol HTTP acl acceleratedPort port 8000     # 关键 4 - 允许指定的域名在指定端口的访问 http_access allow acceleratedProtocol acceleratedPort HostA http_access allow acceleratedProtocol acceleratedPort HostB http_access allow acceleratedProtocol acceleratedPort HostC     # 日志设定 emulate_httpd_log on cache_store_log none     # 管理员相关设定 acl manager proto cache_object http_access allow manager all cachemgr_passwd pass all     # 最后不要忘了 http_access deny all

　　一．反向代理的概念

　　什么是反向代理呢？其实，反向代理也就是通常所说的WEB服务器加速，它是一种通过在繁忙的WEB服务器和Internet之间增加一个高速的WEB缓冲服务器（即：WEB反向代理服务器）来降低实际的WEB服务器的负载。典型的结构如下图所示：

　　Web服务器加速（反向代理）是针对Web服务器提供加速功能的。它作为代理Cache，但并不针对浏览器用户，而针对一台或多台特定Web服务器（这也是反向代理名称的由来）。实施反向代理（如上图所示），只要将Reverse Proxy Cache设备放置在一台或多台Web服务器前端即可。当互联网用户访问某个WEB服务器时，通过DNS服务器解析后的IP地址是Reverse Proxy Server的IP地址,而非原始Web服务器的IP地址,这时Reverse Proxy Server设备充当Web服务器，浏览器可以与它连接，无需再直接与Web服务器相连。因此，大量Web服务工作量被卸载到反向代理服务上。不但能够防止外部网主机直接和web服务器直接通信带来的安全隐患，而且能够很大程度上减轻web服务器的负担，提高访问速度。

　　二．　　　 反向代理和其它代理的比较

　　下面将对几种典型的代理服务作一个简单的比较。在网络上常见的代理服务器有三种：

　　1．　标准的代理缓冲服务器

　　一个标准的代理缓冲服务被用于缓存静态的网页（例如：html文件和图片文件等）到本地网络上的一台主机上（即代理服务器）。当被缓存的页面被第二次访问的时候，浏览器将直接从本地代理服务器那里获取请求数据而不再向原web站点请求数据。这样就节省了宝贵的网络带宽，而且提高了访问速度。但是，要想实现这种方式，必须在每一个内部主机的浏览器上明确指明代理服务器的IP地址和端口号。客户端上网时，每次都把请求送给代理服务器处理，代理服务器根据请求确定是否连接到远程web服务器获取数据。如果在本地缓冲区有目标文件，则直接将文件传给用户即可。如果没有的话则先取回文件，先在本地保存一份缓冲，然后将文件发给客户端浏览器。

　　2．　透明代理缓冲服务器

　　透明代理缓冲服务和标准代理服务器的功能完全相同。但是，代理操作对客户端的浏览器是透明的（即不需指明代理服务器的IP和端口）。透明代理服务器阻断网络通信，并且过滤出访问外部的HTTP（80端口）流量。如果客户端的请求在本地有缓冲则将缓冲的数据直接发给用户，如果在本地没有缓冲则向远程web服务器发出请求，其余操作和标准的代理服务器完全相同。对于Linux操作系统来说，透明代理使用Iptables或者Ipchains实现。因为不需要对浏览器作任何设置，所以，透明代理对于ISP（Internet服务器提供商）特别有用。

　　3．　反向代理缓冲服务器

　　反向代理是和前两种代理完全不同的一种代理服务。使用它可以降低原始WEB服务器的负载。反向代理服务器承担了对原始WEB服务器的静态页面的请求，防止原始服务器过载。它位于本地WEB服务器和Internet之间，处理所有对WEB服务器的请求，组织了WEB服务器和Internet的直接通信。如果互联网用户请求的页面在代理服务器上有缓冲的话，代理服务器直接将缓冲内容发送给用户。如果没有缓冲则先向WEB服务器发出请求，取回数据，本地缓存后再发送给用户。这种方式通过降低了向WEB服务器的请求数从而降低了WEB服务器的负载。

　　三．反向代理工作原理

　　反向代理服务器位于本地WEB服务器和Internet之间,如下图所示：

　　当用户浏览器发出一个HTTP请求时，通过域名解析将请求定向到反向代理服务器（如果要实现多个WEB服务器的反向代理，需要将多个WEB服务器的域名都指向反向代理服务器）。由反向代理服务器处理器请求。反向代理一般只缓存可缓冲的数据（比如html网页和图片等），而一些CGI脚本程序或者ASP之类的程序不缓存。它根据从WEB服务器返回的HTTP头标记来缓冲静态页面。有四个最重要HTTP头标记：

　　Last-Modified: 告诉反向代理页面什么时间被修改

　　Expires: 告诉反向代理页面什么时间应该从缓冲区中删除

　　Cache-Control: 告诉反向代理页面是否应该被缓冲

　　Pragma: 告诉反向代理页面是否应该被缓冲.

　　例如：在默认情况下，ASP页面返回” Cache-control: private.” ，所以ASP页面时不会在反向代理服务器缓存的

　　四．代理服务器软件squid简介

　　Squid Internet Object Cache (Harvest Project的后续版本) 是美国政府大力助的一项研究计划，其目的为解决网络带宽不足的问题，是现在Unix系统上使用者最多功能也最完整的一套软体。Apache和Netscape虽附有相关的Proxy模块，但因其功能简单而不够普及。有关squid的详细说明可到squid网站(http://www.squid-cache.org)查询。

　　httpd_accel_with_proxy on

　　如果希望squid既作反向代理服务器又作本地机器的上网代理，需要将httpd_accel_with_proxy 改为 on，默认情况下是off

　　httpd_accel_uses_host_header off

　　在HTTP协议1.1中，HTTP请求包括一个主机头信息，指定URL的主机名或者主机的IP地址。这个选项可以用来完成多个后台WEB服务器的反向代理功能。

　　2．Squid反向代理多个后台WEB服务器

　　我们可以用Squid反向代理多个后台WEB服务器。例如：我们可以配置squid同时反向代理www.abc.com, www.xyz.com, www.lmn.com三个后台WEB服务器，示意图如下：

　　Squid的配置如下：

　　然后设置设置反响代理需要的域名解析（Internet用户通过这里解析三个网站的域名）如下：

　　使三个域名都指向反向代理服务器的IP地址202.102.240.74。

　　下面设置反向代理所需要的DNS入口信息（即设置内部DNS，仅仅是squid在内部使用，Internet用户不可见）。有两种方法可以设置内部DNS，使用内部DNS服务器来解析或者使用/etc/hosts文件来实现。

　　使用内部DNS服务器的资源记录如下：

　　如果使用/etc/hosts文件来实现内部DNS（编译时应使用disable internal dns选项）,编辑/etc/hosts文件添加如下条目：

　　结论

　　通过本文中的论述和相关实例，可以看出，反向代理方式不单是一种WEB服务器加速器，而且使也一种对外提供Web发布时使用的有效的防火墙技术，使用它不但能节约紧缺的IP地址资源，加速WEB服务器的访问速度，而且能够保护WEB主机，因此能够适应多种应用场合。

　　Squid最典型的应用是代理局域网的机器联入互联网，它支持现在流行的网络协议。Squid的另一项非常出色的功能就是实现反向代理功能。

　　五．使用Squid配置反向代理（HTTP 加速器）

　　通过squid配置反向代理主要就是配置“squid.conf”这个配置文件。下面以Linux操作系统为例进行介绍，其它版本的在UNIX也同样适用。在Linux中squid如果是以源代码方式安装的话，这个文件一般在“/usr/local/squid/etc/”目录下。如果是系统自带的squid，一般配置文件在“/etc/squid/”目录下。

　　1．　Squid反向代理单个后台WEB服务器

　　如果WEB服务器和反向代理服务器是两台单独的机器（一般的反向代理应该有两块网卡分别连接了内外部网络）。那么，应该修改下面的内容来设置反向代理服务。

　　下面解释一下配置指令。

　　http_port 80

　　选项 http_port 指定squid监听HTTP请求的端口，一般都设置成80端口，这样使用户感觉不到反向代理的存在，就像访问真正的WEB服务器一样。

　　httpd_accel_host 172.16.250.250 和 httpd_accel_port 80

　　选项httpd_accel_host 和 httpd_accel_port 指定WEB服务器的IP地址和端口号，可以根据自己的WEB服务器的实际情况而定。

　　httpd_accel_single_host on

　　选项httpd_accel_single_host 为on 时，squid被设置成仅对单一的web服务器作反向代理。不考虑HTTP头信息，Squid转发所有的未被缓冲的页面请求到这个web服务器。如果squid需要做多个web服务器反向代理，必须将此选项设置为off，并且使用转向器或者DNS去映射请求到合适的后台WEB服务器。

• 动态缓存和静态缓存的比较
• 基于反向代理加速的站点规划
  
• 基于apache mod_proxy的反向代理加速实现
• 基于squid的反向代理加速实现
• 面向缓存的页面设计

后台的内容管理系统的页面输出遵守可缓存的设计，这样就可以把性能问题交给前台的缓存服务器来解决了，从而大大简化CMS系统本身的复杂程度。

静态缓存和动态缓存的比较

静态页面的缓存可能有2种形式：其实主要区别就是CMS是否自己负责关联内容的缓存更新管理。

1. 静态缓存：是在新内容发布的同时就立刻生成相应内容的静态页面，比如：2003年3月22日，管理员通过后台内容管理界面录入一篇文章后，就立刻生成http://www.chedong.com/tech/2003/03/22/001.html这个静态页面，并同步更新相关索引页上的链接。
   
   
2. 动态缓存：是在新内容发布以后，并不预先生成相应的静态页面，直到对相应内容发出请求时，如果前台缓存服务器找不到相应缓存，就向后台内容管理服务器发出请求，后台系统会生成相应内容的静态页面，用户第一次访问页面时可能会慢一点，但是以后就是直接访问缓存了。
   
   如果去ZDNet等国外网站会发现他们使用的基于Vignette内容管理系统都有这样的页面名称：0,22342566,300458.html。其实这里的0,22342566,300458就是用逗号分割开的多个参数：
   第一次访问找不到页面后，相当于会在服务器端产生一个doc_type= 0&doc_id=22342566&doc_template=300458的查询，
   而查询结果会生成的缓存的静态页面： 0,22342566,300458.html
   

静态缓存的缺点：

• 复杂的触发更新机制：这两种机制在内容管理系统比较简单的时候都是非常适用的。但对于一个关系比较复杂的网站来说，页面之间的逻辑引用关系就成为一个非常非常复杂的问题。最典型的例子就是一条新闻要同时出现在新闻首页和相关的3个新闻专题中，在静态缓存模式中，每发一篇新文章，除了这篇新闻内容本身的页面外，还需要系统通过触发器生成多个新的相关静态页面，这些相关逻辑的触发也往往就会成为内容管理系统中最复杂的部分之一。
• 旧内容的批量更新： 通过静态缓存发布的内容，对于以前生成的静态页面的内容很难修改，这样用户访问旧页面时，新的模板根本无法生效。

在动态缓存模式中，每个动态页面只需要关心，而相关的其他页面能自动更新，从而大大减少了设计相关页面更新触发器的需要。

以前做小型应用的时候也用过类似方式：应用首次访问以后将数据库的查询结果在本地存成一个文件，下次请求时先检查本地缓存目录中是否有缓存文件，从而减少对后台数据库的访问。虽然这样做也能承载比较大的负载，但这样的内容管理和缓存管理一体的系统是很难分离的，而且数据完整性也不是很好保存，内容更新时，应用需要把相应内容的的缓存文件删除。但是这样的设计在缓存文件很多的时候往往还需要将缓存目录做一定的分布，否则一个目录下的文件节点超过3000，rm *都会出错。

这时候，系统需要再次分工，把复杂的内容管理系统分解成：内容输入和缓存这2个相对简单的系统实现。

• 后台：内容管理系统，专心的将内容发布做好，比如：复杂的工作流管理，复杂的模板规则等……
• 前台：页面的缓存管理则可以使用缓存系统实现
  

所以分工后：内容管理和缓存管理2者，无论哪一方面可选的余地都是非常大的：软件（比如前台80端口使用SQUID对后台8080的内容发布管理系统进行缓存），缓存硬件，甚至交给akamai这样的专业服务商。

面向缓存的站点规划

• 配置灵活性提高：可以自己在内部服务器上控制后台服务器的DNS解析，当需要在服务器之间做迁移调整时，就不用大量修改外部DNS配置了，只需要修改内部DNS实现服务的调整。
• 数据安全性增加：所有后台服务器可以很方便的被保护在防火墙内。
• 后台应用设计复杂程度降低：原先为了效率常常需要建立专门的图片服务器images.chedong.com和负载比较高的应用服务器 bbs.chedong.com分离，在反向代理加速模式中，所有前台请求都通过缓存服务器：实际上就都是静态页面，这样，应用设计时就不用考虑图片和应用本身分离了，也大大降低了后台内容发布系统设计的复杂程度，由于数据和应用都存放在一起，也方便了文件系统的维护和管理。

基于Apache mod_proxy的反向代理缓存加速实现

基于Squid的反向代理加速实现

可缓存的动态页面设计

• 页面必须包含Last-Modified: 标记
  一般纯静态页面本身都会有Last-Modified信息，动态页面需要通过函数强制加上，比如在PHP中：
  // always modified now
  header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
  
  
• 必须有Expires或Cache-Control: max-age标记设置页面的过期时间：
  对于静态页面，通过apache的mod_expires根据页面的MIME类型设置缓存周期：比如图片缺省是1个月，HTML页面缺省是2天等。
  <IfModule mod_expires.c>
      ExpiresActive on
      ExpiresByType image/gif "access plus 1 month"
      ExpiresByType text/css "now plus 2 day"
      ExpiresDefault "now plus 1 day"
  </IfModule>
  
  对于动态页面，则可以直接通过写入HTTP返回的头信息，比如对于新闻首页index.php可以是20分钟，而对于具体的一条新闻页面可能是1天后过期。比如：在php中加入了1个月后过期：
  // Expires one month later
  header("Expires: " .gmdate ("D, d M Y H:i:s", time() + 3600 * 24 * 30). " GMT");
  
  
• 如果服务器端有基于HTTP的认证，必须有Cache-Control: public标记，允许前台

<%
' Set Expires Header in minutes
Function SetExpiresHeader(ByVal minutes)
    ' set Page Last-Modified Header:
    ' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
    Response.AddHeader "Last-Modified", DateToHTTPDate(Now())
   
    ' The Page Expires in Minutes
    Response.Expires = minutes
   
    ' Set cache control to externel applications
    Response.CacheControl = "public"
End Function

' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
Function DateToHTTPDate(ByVal OleDATE)
  Const GMTdiff = #08:00:00#
  OleDATE = OleDATE - GMTdiff
  DateToHTTPDate = engWeekDayName(OleDATE) & _
    ", " & Right("0" & Day(OleDATE),2) & " " & engMonthName(OleDATE) & _
    " " & Year(OleDATE) & " " & Right("0" & Hour(OleDATE),2) & _
    ":" & Right("0" & Minute(OleDATE),2) & ":" & Right("0" & Second(OleDATE),2) & " GMT"
End Function

Function engWeekDayName(dt)
    Dim Out
    Select Case WeekDay(dt,1)
        Case 1:Out="Sun"
        Case 2:Out="Mon"
        Case 3:Out="Tue"
        Case 4:Out="Wed"
        Case 5:Out="Thu"
        Case 6:Out="Fri"
        Case 7:Out="Sat"
    End Select
    engWeekDayName = Out
End Function

Function engMonthName(dt)
    Dim Out
    Select Case Month(dt)
        Case 1:Out="Jan"
        Case 2:Out="Feb"
        Case 3:Out="Mar"
        Case 4:Out="Apr"
        Case 5:Out="May"
        Case 6:Out="Jun"
        Case 7:Out="Jul"
        Case 8:Out="Aug"
        Case 9:Out="Sep"
        Case 10:Out="Oct"
        Case 11:Out="Nov"
        Case 12:Out="Dec"
    End Select
    engMonthName = Out
End Function
%>

附：SQUID性能测试试验

• 大访问量的网站应尽可能将动态网页生成静态页面作为缓存发布，甚至对于搜索引擎这样的动态应用来说，缓存机制也是非常非常重要的。
• 在动态页面中利用HTTP Header定义缓存更新策略。
• 利用缓存服务器获得额外的配置和安全性
• 日志非常重要：SQUID日志缺省不支持COMBINED日志，但对于需要REFERER日志的这个补丁非常重要：http://www.squid-cache.org/mail-archive/squid-dev/200301/0164.html
  

参考资料：

HTTP代理缓存
http://vancouver-webpages.com/proxy.html

可缓存的页面设计
http://linux.oreillynet.com/pub/a/linux/2002/02/28/cachefriendly.html

相关RFC文档：

• RFC 2616:
  • section 13 (Caching)
  • section 14.9 (Cache-Control header)
  • section 14.21 (Expires header)
  • section 14.32 (Pragma: no-cache) is important if you are interacting with HTTP/1.0 caches
  • section 14.29 (Last-Modified) is the most common validation method
  • section 3.11 (Entity Tags) covers the extra validation method

可缓存性检查：
http://www.web-caching.com/cacheability.html