BlogJava-我爱我的家园!-文章分类-新思路http://www.blogjava.net/Yipak/category/26293.html成功在于你是否努力,希望在于你是否相信自己! zh-cnSun, 30 Sep 2007 06:30:24 GMTSun, 30 Sep 2007 06:30:24 GMT60内容管理系统(CMS)的设计和选型http://www.blogjava.net/Yipak/articles/149849.html死神死神Sun, 30 Sep 2007 04:33:00 GMThttp://www.blogjava.net/Yipak/articles/149849.htmlhttp://www.blogjava.net/Yipak/comments/149849.htmlhttp://www.blogjava.net/Yipak/articles/149849.html#Feedback0http://www.blogjava.net/Yipak/comments/commentRss/149849.htmlhttp://www.blogjava.net/Yipak/services/trackbacks/149849.html内容管理系统(CMS)的设计和选型


 

内容摘要：

内容管理系统概述


内容管理系统是一个很泛的概念：从商业门户网站的新闻系统到个人的Weblog都可以称作发布系统。
  • 框架型：本身不包含任何应用实现，只是提供了底层框架，具体应用需要一定的二次开发，比如Cocoon，Vignette；
  • 应用型：本身是一个面向具体类型的应用实现，已经包含了新闻/评论管理，投票，论坛，WIKI等一些子系统。比如：postNukexoops等；

但无论如何，在发布系统选型之前，首先了解自己的实际需求是最重要的：想根据现成系统将自己的需求硬往上照搬是非常不可取的。访问量，权限控制和各种功能需求。每个模块和功能自己都比较清晰一点以后，再去网上找找类似的实现：你会发现其实每个环节到目前上都有比较成熟的实现了，而且还在不断完善和发展中，如果没有：你的需求太特殊，或者可以尝试分解成更小的系统组合实现。

内容管理系统被分离成以下几个层面：各个层面优先考虑的需求不同

  1. 后台业务子系统管理（管理优先：内容管理）：新闻录入系统，BBS论坛子系统，全文检索子系统等，针对不同系统的方便管理者的内容录入：所见即所得的编辑管理界面等，清晰的业务逻辑：各种子系统的权限控制机制等；
  2. Portal系统（表现优先：模板管理）：大部分最终的输出页面：网站首页，子频道/专题页，新闻详情页一般就是各种后台子系统模块的各种组合，这种发布组合逻辑是非常丰富的，Portal系统就是负责以上这些后台子系统的组合表现管理；
  3. 前台发布（效率优先：发布管理）：面向最终用户的缓存发布，和搜索引擎spider的URL设计等……
内容管理和表现的分离：很多成套的CMS系统没有把后台各种子系统和Portal分离开设计，以至于在Portal层的模板表现管理和新闻子系统的内容管理逻辑混合在一起，甚至和BBS等子系统的管理都耦合的非常高，整个系统会显得非常庞杂。而且这样的系统各个子系统捆绑的比较死，如果后台的模块很难改变。但是如果把后台各种子系统内容管理逻辑和前台的表现/发布分离后，Portal和后台各个子系统之间只是数据传递的关系：Portal只决定后台各个子系统数据的取舍和表现，而后台的各个子系统也都非常容易插拔。

内容管理和数据分发的分离：需要要Portal系统设计的时候注意可缓存性（Cache Friendly）性设计：CMS后台管理和发布机制，本身不要过多考虑“效率”问题，只要最终页面输出设计的比较Cacheable，效率问题可通过更前端专门的缓存服务器解决。

此外，就是除了面向最终浏览器用户外，还要注意面向搜索引擎友好(Search engine Friendly)的URL设计：通过URL REWRITE转向或基于PATH_INFO的参数解析使得动态网页在链接（URI）形式上更像静态的目录结构，方便网站内容被搜索引擎收录；

---------------    ---------------     ---------------                    
|新闻管理子系统|   | BBS论坛子系统|    | 商城子系统  |                    
---------------    ---------------     ---------------                    
      |       \     /    |     \           /   内                         
      |        ----------|---   \         /    容   <== 业务子系统（零件生产）
      |           /      |   \   \       /     管                         
    ---------------      |    ---------------  理                         
    |专题制作子系统|     |    |全文检索子系统|                            
    ---------------      |    ---------------                             
                 \       |          /                                     
-------------------------|---------------------------------------------   
                   \     |        /            频                         
                   ---------------             道   <== Portal系统（产品组装）
                   | Portal 系统 |             管                         
                   ---------------             理                         
                         |                                                
-------------------------|---------------------------------------------   
                         |                     前                         
                         |                     台   <== 发布系统（分发代理）  
                  ---------------              发                         
                  |前台发布系统 |              布                         
                  ---------------                                         
                    /        \                                            
                   /          \                                           
      ---------------      ---------------                                
      | 用户浏览器   |     |Search Engine|                                
      ---------------      ---------------

这里，我把在内容发布系统选型中找到的一些资料总结如下：

    内容管理系统的选型

    关键词：CMS Content Manage System

    CMS行业研究
    http://www.cmswatch.com/
    http://www.cmsreview.com/
    http://www.cmsinfo.org/

    CMS讨论邮件列表
    http://www.cms-list.org/

    商业软件和开源项目列表：
    http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Content_Management/

    推荐：基于XML的发布框架
    http://cocoon.apache.org/

    具体实现复杂程度可能会根据需求的不同而不同，但越是大型的系统越是需要分工：将内容（数据），表现（模板）和应用逻辑（程序）尽可能分离和对这3 者的管理。

    Portal---门户系统
    Open source Projects:
    http://jportlet.sourceforge.net/
    Apache Software Foundation: Jakarta JetSpeed 1.3
    JetSpeed home page: http://jakarta.apache.org/jetspeed/site/index.html
    JetSpeed Portlet API: http://cvs.apache.org/viewcvs/jakarta-jetspeed/proposals/portletAPI/
    http://www.liferay.com/home/index.jsp
    http://basicPortal.com/
    http://www.jahia.org/
    http://jporta.sourceforge.net/

    商业软件：
    BEA WebLogic Portal - http://edocs.bea.com/wlp/docs81/javadoc/com/bea/Portal/model/Portlet.html
    IBM Websphere Portal - http://www.software.ibm.com/wsdd/zones/Portal/
    Oracle Portal Developer Kit - http://Portalstudio.oracle.com/

    其它:
    PSML - http://jakarta.apache.org/jetspeed/site/psml.html
    BEA: Web Logic Portal 4.0 http://www.bea.com/products/weblogic/Portal/index.shtml
    IBM: WebSphere Portal 2.1 http://www-4.ibm.com/software/webservers/Portal/
    iPlanet: iPlanet Portal Server 3.0 http://www.iplanet.com/products/iplanet_Portal/home_Portal.html
    Oracle: Oracle 9i Portal http://www.oracle.com/ip/deploy/ias/Portal/index.html
    SAP Portal: http://www.iviewstudio.com/
    Epicentric Portal: http://www.epicentric.com/solutions/products/efs/

    参考：
    Wafer：Java开发框架研究
    http://www.waferproject.org/index.html

    门户(Portal)系统相关开发框架：
    http://udoo.51.net/mt/archives/000011.html

    广告管理系统

    关键词：ad server

    广告系统和内容的分离，可以大大降低系统之间的关联度。
     
    专业行业研究网站：
    http://adres.internet.com/

    相关厂商和开源项目：
    http://directory.google.com/Top/Computers/Programming/Languages/PHP/Scripts/Ad_Management/?il=1
    http://directory.google.com/Top/Computers/Software/Internet/Servers/Advertising/?tc=1
    http://www.jspin.com/home/apps/admanage?cob=winedit
    http://www.scriptdex.com/dex/php_ad_management.shtml

    推荐：
    http://www.phpadsnew.com/ 功能性比较强
    http://oasis.sourceforge.net/ 免费 基于日志记录和定期导入MYSQL统计，可以负载50万请求/每小时 以上

    如果看重广告的第3方特性，可以选择第三方服务：
    http://www.doubleclick.net/
    http://www.allyes.com/

    论坛/社区系统

    关键词： BBS FORUM

    论坛软件介绍：
    http://directory.google.com/Top/Computers/Internet/Web_Design_and_Development/Message_Boards/

    推荐：
    http://www.phpbb.com/ PHP + MySQL open source
    http://www.vbulletin.com/order/ PHP + MySQL  有付费的商业支持85－160$

    http://www.jivesoftware.com/products/pricing.jsp 商业论坛系统，1000$－2500$ 有知识库扩展应用
    http://yazd.yasna.com/features.jsp 基于 Java

    所见即所得（WYSIWYG）编辑器

    在内容的录入管理方面，所见即所得是比较重要的，这样可以大大简化对系统中布局排版的需求。
    基于浏览器的WYSIWYG（所见即所得）编辑器是CMS设计中，编辑工具的主要考虑方面。目前主要是通过JAVASCRIPT调用IE或其他浏览器的内置方法实现。其中基于IE5.5浏览器的实现最为简洁。这里有一个完整的例子：
    Building a WYSIWYG HTML Editor Part 1/2
    Building a WYSIWYG HTML Editor Part 2/2

    主要功能：
    • 能够通过JAVASCRIPT实现的基本功能：加粗，斜体字，居中，添加链接，添加图片，模式切换：HTML和文本模式的切换，
    • Word垃圾代码过滤
    • 图片上载接口：图片上载最好通过其他独立模块实现。
    选型指标：
    • 不依赖服务器端代码：只通过JAVASCRIPT或客户端控件实现代码，可以保证以后系统迁移的方便。
    • WORD垃圾代码过滤
    可视化编辑器大全：
    http://www.bris.ac.uk/is/projects/cms/ttw/ttw.html

    推荐：
    http://www.aine.be/aynhtml/

    图片/文件上传组建

    图片和文件等非结构化数据还是分别使用另外的服务解决比较好。这样可以大大简化CMS本身的复杂程度。

    推荐：
    文件上传：
    Apache Commons项目
    http://jakarta.apache.org/commons/

    ImageJ：图片处理缩略图生成和水印等
    http://rsb.info.nih.gov/ij/

    关于Blog系统的选型，目前主流的基于PHP的包括：
    · Nucleus 3.0 http://www.nucleuscms.org/
    · pmachine 2.3 http://www.pmachine.com/
    · b2evolution 0.9.0.3 http://www.b2evolution.net/
    · Serendipity 0.6 http://www.s9y.org/
    · WordPress 1.2 http://www.wordpress.org/
    · bBlog 0.7.3 http://www.bblog.com/
    · pLog 0.3.1 http://www.plogworld.org/
    · Simplog .9 http://www.simplog.org/
    · Textpattern 1.18a http://www.textpattern.com/


    原帖: http://www.chedong.com/tech/cms.html


    死神 2007-09-30 12:33 发表评论
    ]]>    基于Lucene/XML的站内全文检索解决方案：WebLucenehttp://www.blogjava.net/Yipak/articles/149846.html死神死神Sun, 30 Sep 2007 04:29:00 GMThttp://www.blogjava.net/Yipak/articles/149846.htmlhttp://www.blogjava.net/Yipak/comments/149846.htmlhttp://www.blogjava.net/Yipak/articles/149846.html#Feedback0http://www.blogjava.net/Yipak/comments/commentRss/149846.htmlhttp://www.blogjava.net/Yipak/services/trackbacks/149846.html

    内容摘要：
    为Lucene做一个通用XML接口一直是我最大的心愿：更方便的在WEB应用中嵌入全文检索功能

    • 提供了XML的数据输入接口：适合将原有基于各种数据库的数据源导入到全文索引中，保证了数据源的平台无关性；
    • 通过了基于XML的搜索结果输出：方便了通过XSLT进行前台的结果显示； 
    								
        MySQL  \                                                  / JSP    
        Oracle - DB      -  ==>   XML ==> (Lucene Index) ==> XML  -  ASP    
        MSSQL  /                                                  -  PHP            
                 MS Word /                                        \         / XHTML
                     PDF /                                         =XSLT=> -  TEXT
                                                                            \ XML                                                                     
                                    \_________WebLucene__________/ 
    使用过程如下：
    1. 将数据用脚本导出成XML格式；
    2. 将XML数据源导入LUCENE索引；
    3. 从WEB界面得到XML结果输出，并通过XSLT生成HTML页面

    站内全文检索的必要性

    虽然大型搜索引擎的功能已经越来越强大了，很多站点都使用了Google的站内检索site:domain.com代替了自己的站内数据库“全文”检索。 但依靠GOOGLE这样的大型搜索引擎做站内检索会有以下弊端：
    • 数量有限：搜索引擎并不会深度遍历一个网站，而将网站所有的内容都索引进去，比如Google就喜欢静态网页，而且是最新更新的，而不喜欢带?的动态网页，Google甚至会定期将缺少入口的网站内容逐渐抛弃；
    • 更新慢：搜索引擎针对站点的更新频率也是有一定周期的，很多内容需要一定时间后才能进入GOOGLE的索引：目前Google Dance的周期是21天左右；
    • 内容不精确：搜索引擎需要通过页面内容提取技术将导航条，页头页尾等内容过滤掉，反而不如直接从后台数据库提取数据来得直接，这种摘要和排重机制是很难实现的；
    • 无法控制输出：也许有更多的输出需求，按时间排序，按价格，按点击量，按类目过滤等

    系统的搭建

    下载：
    http://sourceforge.net/projects/weblucene/

    XML数据源的导入：

    只要数据源可以导出成3层的XML结构，就都可以用IndexRunner这个命令行工具导入：

    比如从数据库导出：news_dump.xml
    <?xml version="1.0" encoding="GB2312"?>
    <Table>
        <Record>
            <Title>标题</Title>
            <Author>作者</Author>
            <Content>内容</Content>
            <PubTime>2003-06-29</PubTime>      
        </Record>
        <Record>
            <Title>My Title</Title>
            <Author>chedong</Author>
            <Content>abc</Content>
            <PubTime>2003-06-30</PubTime>
        </Record>
        ...
    </Table>

    IndexRunner -i news_dump.xml -o c:\index -t Title,Content -n Author
    -i news_dump.xml:  以news_dump.xml为数据源
    -o c:\index   索引库建立在c:\index目录下
    索引建立Title Author Content PubTime这几个字段外，按以下规则建立索引：
    -t Title,Content 一个进行分词的全文索引TokenIndex：数据是Title Content这2个字段
    -n Author    一个不分词的索引：NoTokenIndex：数据源是Author这个字段。

    对于RSS数据源：
    <?xml version="1.0"?>
    <rss version="0.92">
    <channel>
      <title>Amazon: Books Arts &amp; Photography</title>
      <link>http://www.lockergnome.com/</link>
      <description>Amazon RSS Feed</description>
      <lastBuildDate>Sun, 29 Jun 2003 01:05:01 GMT</lastBuildDate>
      <docs>http://www.lockergnome.com/</docs>
      <webMaster>amazonfeed@lockergnome.com (Lockergnome RSS Generator)</webMaster>
      <item>
        <title>The Artist's Way: A Spiritual Path to Higher Creativity - $11.17</title>
        <link>http://www.amazon.com/exec/obidos/ASIN/1585421464/lockergnomedigit/?ref=nosim&amp;dev-it=D34HUVGKB34YFX</link>
        <description>http://www.lockergnome.com/    </description>
      </item>
      ...
    </channel>

    IndexRunner -i http://www.example.com/rss.xml -o c:\index -t title,description -n link  -l  4
    -l 4 表示拿第4层节点作为字段映射，

    IndexRunner还提供了-a -m这两个选项：用于增量索引和批量索引优化。
    -a  增量索引，表示在原有索引的基础上扩展
    -m  mergeFactor 在Lucene中mergeFactor是一个针对批量索引的优化参数，控制多少条处理完多少条记录（Document）后，写入一次索引，写入频率越高，内存使用越少，但索引速度越慢，所以在大批量数据导入时需要增大文件写入的间隔，多让索引在内存中操作。

    搜索结果输出：


    以下是系统设计过程中一些设计的思路：

    做为工业标准的XML

    记得以前有关于肯德基的炸薯条断顿的报道。从这个事件报道中我们可以看到一种更高效的管理体系：对于快餐店这样全球性的企业来说，要保证各地提供的薯条品质，成本最低的方法肯定是依靠机器而不是厨师，如果要求薯条机能够处理各种形状不一的土豆，机器的复杂程度和维护成本都会很高。所以土豆必须严格符合工业标准才能让结构比较简单的薯条机生产出符合标准的薯条，因此，薯条的加工机械会严格按照土豆协会的土豆工业标准设计。高质量的原料可以大大降低后期加工设备的成本，因此从总体成本上讲还是合算的。

    对于软件应用开发者来说：应用和应用之间，企业和企业之间交换的数据好比就是土豆，白菜，按照严格的XML标准设计的接口作为企业之间后台数据交换的工业标准，虽然不如简单的CSV格式高效，但缺能大大简化下游工序的后期加工成本。

    不难想象为什么处理HTML的浏览器：IE和Mozilla等浏览器软件大小都在10M以上，但一般处理XML的解析器一般都在几百K。除了没有界面外，HTML浏览器需要为太多不规范的HTML代码提供大量容错处理也是一个很重要的原因，而语法严格，规则简单的XML处理器就可以做的很简短，高效，体积越“小”就意味着适应性越广：这点在手机这样的硬件配置比较低的设备环境中显得尤其重要。

    虽然XML在后台数据交换方面，有着巨大的潜力。在前台表现方面，XML并不会马上代替HTML，很多通过XSLT输出的HTML仍然需要结合CSS来进行表现。XML ==XSLT==> HTML + CSS。但是由于太多的网页都是用HTML做的，相信XML没有必要马上代替这些已有的机制。

    此外在应用的国际化支持方面XML和Java简直是绝配：XML数据源用Java解析后是UNICODE，这样无论是日文，繁体中文还是德文的内容我们都可以在一个索引库中同时进行搜索。这样针对其他语言的支持只是设计各种语言界面的问题了。

          GBK          \                                       / BIG5
          BIG5          -  UNICODE        ====>       Unicode -  GB2312
          SJIS          -   (XML)                     (XML)   -  SJIS
          ISO-8859-1   /                                       \ ISO-8859-1
    使用XML的另外一个额外好处在于：开发人员一般都没有仔细理解Java的字符集（其实上是JVM的缺省file.encoding属性）受系统本地化设置的影响，基于XML的输入使得数据的字符解码过程变得透明：不用再和用户解释需要如何解码，编码数据源。不过，XML的学习成本还是比较高的，假设你HTML的学习成本是1，XML则可能为10，而XSLT的学习成本则可能高达100。

    传统数据库应用的全文检索加速

    让数据库负责精确匹配，将模糊匹配用独立的系统实现

    一个站点内容积累在万级以上，站内全文检索就会是用户定位最主要的手段，而关键词检索是用户最熟悉的方法。因此基于数据库的传统WEB应用在全文检索需求还是很大的。

    但是可怕的%like%数据库操作可能会吃掉数据库服务器90%以上的CPU。Oracle MSSQL等数据库服务器中数据库内置的全文检索基本上都不太适合WEB应用。而数据库另外一个的弊端在于对于条件简单的查询返回结果集非常大：数据库并不知道如何面向用户最关心的的头100条结果进行优化。根据以前的统计：头100条结果往往已经可以满足95％以上用户需求。

    需要缓存设计：根据我们的经验，在应用设计中没有必要进行内置的结果缓存设计：让前台的应用服务器内置的缓存机制或者反相代理缓存服务器进行缓存就够了。

    数据同步策略

    总体上讲，全文检索和数据库其实是2种根本不同的应用模式，全文检索系统其实往往也没有必要和数据库那么高的实时同步机制，如果按照：低更新，高缓存的模式进行设计：数据库数据到全文索引的同步过程一般都可以通过脚本定期将数据库的数据导出成XML，然后进入Lucene的全文索引。而针对原有数据记录的更新和删除，其实一般可以通过定期的重建索引解决。WebLucene其中索引部分是一个IndexRunner的命令行程序实现的。

    结果排序策略

    站内全文索引另外一个很重要的需求是可定制的排序：按时间，按价格，按点击量……Lucene全文索引缺省只提供了根据关键词在原文中的匹配度排序，而任何根据某个字段的值进行排序的都无法避免再次遍历数据，从而导致性能有数量级的下降（等于又是做%Like%检索），而在索引中，除了匹配度SCORE外，唯一能用来排序的就是索引记录的ID，所以一个比较高效率实现定制排序的方法时：在索引时，让进入Lucene全文的顺序对应着一定规则：比如时间，然后在搜索时，让搜索结果按照索引记录的ID进行排序（或倒排）。

    搜索结果关键词标引的实现

    搜索结果中关键词通过红色或者黑体字标记出来，为了能够更恰当的显示相关上下文的问题，标引是通过限制了一个扫描范围，然后根据一个分析器将指定的词流式的读取出来，然后

    全文检索和其他应用的集成

    其实核心的是一个Lucene的XML接口：SAX方式的数据导入和DOM方式的结果输出。

    XML的数据源定义：
    只要是能够映射成表＝》记录＝》字段这样层次结构的都可以。因此WebLucene索引的设计比较灵活，甚至可以直接用来索引RSS。

    XML结果定义：参考了Google的XML接口的设计

    如果没有SERVLET界面，提供XML输出的DOMSearcher也可以很方便集成到各种应用系统中。

    参考资料：

    系统设计中使用的一些模块：

    其他开发人员的一些反馈和改进

    原帖: 



    死神 2007-09-30 12:29 发表评论
    ]]>