• JSP,HTML,XHTML和JavaScript增强
• I18N支持,插件开发的支持
• 代码分析能力的增强, 调试JSP的支持
• 日文版

同时5.1还修正了多个BUG,系统更加稳定。  下载连接如下

http://download.jetbrains.com/idea/idea-5.1.exe

IntelliJ IDEA 6.0 EAP版本也开始发布了，代号Demetra，这是一个全新的版本。

这里查看Demetra的特性
 

Lucene搜索的api的类主要有4个 IndexSearcher ,Query（包括子类）,QueryParser,Hits
IndexSearcher是搜索的入口，他的search方法提供了搜索功能

Query有很多子类， 各种不同的子类代表了不同的查询条件,下文详述

QueryParser是一个非常通用的帮助类，他的作用是把用户输入的文本转换为内置的Query对象（大多数web搜索引擎都提供一个查询输入框来让用户输入查询条件）。QueryParser内置提供了很多语法来使使用可以输入各种高级条件的Query。比如: "Hello AND world"会被解析为一个AND关系的BooleanQuery，他包含两个TermQuery(Hell和world)。这些语法虽然强大，但都针对英文设计，对我们需要中文搜索来说都不需要了解太多的Query类型，一般几个简单的就够用了。QueryParser的使用如下

QueryParser.parse(String query, String field, Analyzer analyzer) throws ParseException

其中：query是用户输入的内容,field是搜索默认的field（其他field需要显式指定），analyzer是用来将用户输入的内容也作分析处理（分词），一般情况下这里的anaylyzer是index的时候采用的同一analyzer。

另外我们也可以自己构造一个QueryParser: new QueryParser(String field, Analyzer a)(含义同上),这样做的好处是可以自己定义调整一些参数.

搜索结果的处理:Hits对象

1. length() ,这个方法记录有多少条结果返回(lazy loading)
2. doc(n) 返回第n个记录
3. id(in) 返回第n个记录的Document ID
4. score(n) 第n个记录的相关度(积分)

由于搜索的结果一般比较大，从性能上考虑，Hits对象并不会真正把所有的结果全部取回，默认情况下是保留前100个记录(对于一般的搜索引擎,100个记录足够了).

分页的处理

100条记录还是太多，我们多半会每页显示20条记录，然后分为若干页显示，对于分页，一般有两个办法

1. 在session中保留indexreader对象和hit对象，翻页的时候提取内容
2. 不使用session，每次都简单处理为重新查询

lucene推荐先使用第二个办法，即每次都重新查询，这样做的好处是简单方便，不需要考虑session的问题，lucene的查询效率也能保证每次查询时间不长，除非真正有了性能问题，否则不用考虑第一个办法。

缓存：RAMDirectory的用法

RAMDirectory对象很好用，通过它，我们可以把一个普通的index完全读取到内存中,用法如下：
RAMDirectory ramDir = new RAMDirectory(dir);
这样的ramdir效率自然比真正的文件系统快很多

Lucene的scoring算法

lucence查询的纪录默认按照相关度排序，这个相关度就是score,scoring的算法是比较复杂的,对于我们做应用的人似乎没有什么帮助，（先说一下Term: 我的理解是Term为一个独立的查询词,用户输入的的查询通过各种分词，大小写处理(正规化),消除stopwords等）以后，会已Term为基本单位），几个关键参数稍微留意一下即可。

• Term在文章中出现的频率量
• 包含同一个Term的文章的频率
• field中的boosting参数
• term的长度
• term在文章中的数量

创建Query:各种query介绍

最普通的TermQuery
TermQuery最普通, 用Term t=new Term("contents","cap"); new TermQuery(t)就可以构造
TermQuery把查询条件视为一个key, 要求和查询内容完全匹配,比如Field.Keyword类型就可以使用TermQuery

RangeQuery
RangeQuery表示一个范围的搜索条件,RangeQuery query = new RangeQuery(begin, end, included);
最后一个boolean值表示是否包含边界条件本身, 用字符表示为"[begin TO end]" 或者"{begin TO end}"

PrefixQuery
顾名思义,就是表示以某某开头的查询, 字符表示为"something*"

BooleanQuery
这个是一个组合的Query,你可以把各种Query添加进去并标明他们的逻辑关系,添加条件用

public void add(Query query, boolean required, boolean prohibited)

方法, 后两个boolean变量是标示AND OR NOT三种关系 字符表示为" AND OR NOT" 或 "+ -" ,一个BooleanQuery中可以添加多个Query, 如果超过setMaxClauseCount(int)的值(默认1024个)的话,会抛出TooManyClauses错误.

PhraseQuery
表示不严格语句的查询,比如"red pig"要匹配"red fat pig","red fat big pig"等,PhraseQuery所以提供了一个setSlop()参数,在查询中,lucene会尝试调整单词的距离和位置,这个参数表示可以接受调整次数限制,如果实际的内容可以在这么多步内调整为完全匹配,那么就被视为匹配.在默认情况下slop的值是0, 所以默认是不支持非严格匹配的, 通过设置slop参数(比如"red pig"匹配"red fat pig"就需要1个slop来把pig后移动1位),我们可以让lucene来模糊查询. 值得注意的是,PhraseQuery不保证前后单词的次序,在上面的例子中,"pig red"需要2个slop,也就是如果slop如果大于等于2,那么"pig red"也会被认为是匹配的.

WildcardQuery
使用?和*来表示一个或多个字母比如wil*可以匹配 wild ,wila ,wilxaaaa...,值得注意的是,在wildcard中,只要是匹配上的纪录,他们的相关度都是一样的,比如wilxaaaa和wild的对于wil*的相关度就是一样的.

FuzzyQuery
这个Query对中文没有什么用处,他能模糊匹配英文单词(前面的都是词组),比如fuzzy和wuzzy他们可以看成类似, 对于英文的各种时态变化和复数形式,这个FuzzyQuery还算有用,匹配结果的相关度是不一样的.字符表示为 "fuzzy~"

QueryParser使用

对于搜索引擎, 很多情况下用户只需要一个输入框就要输入所有的查询条件(比如google), 这时,QueryParser就派上用场了,他的作用就是把各种用户输入转为Query或者Query组, 他把上面提到的Query的字符表示(Query.toString)转化为实际的Query对象,比如"wuzzy~"就会转换为FuzzyQuery, 不过QueryParser用到了Analyzer,所以QueryParser parse过后的Query再toString未必和原来的一样.Query额外的语法有:

分组:Groupping
比如"(a AND b) or C",就是括号分组,很容易理解

FieldSelectiong
QueryParser的查询条件是对默认的Field进行的, 它在QueryParser解析的时候编码指定, 如果用户需要在查询条件中选用另外的Field, 可以使用如下语法: fieldname:fielda, 如果是多个分组,可以用fieldname:(fielda fieldb fieldc)表示.

*号问题
QueryParse默认不允许*号出现在开始部分，这样做的目的主要是为了防止用户误输入*来头导致严重的性能问题（会把所有记录读出）

boosting
通过hello^2.0 可以对hello这个term进行boosting，(我想不到什么用户会这样么bt)

QueryParser是一个准备好的,立即可以工作的帮助类,不过他还是提供了很多参数供程序员调整，首先,我们需要自己构造一个新的QueryParser,然后对他的各种参数来定制化.

先说displaytag：
      曾经我用displaytag来处理表格显示，displaytag界面很漂亮，但是有一个很严重的不足：数据一多就会严重损害系统性能。 displaytag默认是把所有数据取回再分页， 比如你有100条数据，分5页，display每次都会去取回100条但只显示20条，他这样做的后果是数据量一大，系统的速度就会慢下来，特别是数据源如果不做cache直接连接数据库，每次displaytag都会到数据库里重新query所有数据，哪怕你只是作一个排序。虽然后来可以通过hack代码能让他每次只取要显示那些数据，但是这样会导致display的数据导出，排序功能都无法正常工作，让人苦不堪言。 同时displaytag也很难扩展，你要加入功能就只有一个办法：Hack！直接冲入源代码中修改！这样做的后果是我得到一个自己的display包，不过他再也不能和新版本的displaytag一起工作了。
eXtremeTable
      一度弃用displaytag，找到valuelist，不过这个valuelist虽然设计先进（据说还有个valuelist模式），方便修改。但是就是界面很丑陋，本人也不太懂css。一时也没有兴趣再找taglib了。今天在网上闲逛，突然看到白衣的blog中提到了eXtremTable, 上主页看了一下，不错，这个组件比valuelist好多了

• 界面简洁大方
• displaytag的常用功能都支持
• 支持表格中放置input组件
• 分页机制完善，数据可以"按需索取"
• 版本总算是1.0以上，本人对版本号小于1的东西都有点怕怕

赶忙down下来研究，同时也推荐给大家了解一下

luncene对Document和Field提供了一个可以设置的Boosting参数， 这个参数的用处是告诉lucene， 某些记录更重要，在搜索的时候优先考虑他们 比如在搜索的时候你可能觉得几个门户的网页要比垃圾小站更优先考虑

lucene默认的boosting参数是1.0,  如果你觉得这个field重要,你可以把boosting设置为1.5, 1.2....等, 对Document设置boosting相当设定了它的每个Field的基准boosting，到时候实际Field的boosting就是(Document-boosting*Field-boosting)设置了一遍相同的boosting.

似乎在lucene的记分公式里面有boosting参数,不过我估计一般人是不会去研究他的公式的（复杂）,而且公式也无法给出最佳值，所以我们所能做的只能是一点一点的改变boosting, 然后在实际检测中观察它对搜索结果起到多大的作用来调整

一般的情况下是没有必要使用boosting的, 因为搞不好你就把搜索给搞乱了, 另外如果是单独对Field来做Bossting, 也可以通过将这个Field提前来起到近似的效果

Indexing Date

日期是lucene需要特殊考虑的地方之一, 因为我们可能需要对日期进行范围搜索, Field.keyword(string,Date)提供了这样的方法,lucene会把这个日期转换为string, 值得注意的是这里的日期是精确到毫秒的,可能会有不必要的性能损失, 所以我们也可以把日期自行转化为YYYYMMDD这样的形势,就不用精确到具体时间了,通过File.keyword(Stirng,String) 来index, 使用PrefixQuery 的YYYY一样能起到简化版的日期范围搜索(小技巧), lucene提到他不能处理1970年以前的时间,似乎是上一代电脑系统遗留下来的毛病

Indexing 数字

1. 如果数字只是简单的数据, 比如中国有56个民族. 那么可以简单的把它当字符处理
2. 如果数字还包含数值的意义,比如价格, 我们会有范围搜索的需要(20元到30元之间的商品),那么我们必须做点小技巧, 比如把3,34,100 这三个数字转化为003,034,100 ,因为这样处理以后, 按照字符排序和按照数值排序是一样的,而lucene内部按照字符排序,003->034->100 NOT(100->3->34)

排序

Lucene默认按照相关度(score)排序,为了能支持其他的排序方式,比如日期,我们在add Field的时候,必须保证field被Index且不能被tokenized(分词),并且排序的只能是数字,日期,字符三种类型之一

Lucene的IndexWriter调整

IndexWriter提供了一些参数可供设置，列表如下

1. 设置每mergeFactor个document写入一个段，比如每10个document写入一个段
2. 设置每mergeFacotr个小段合并到一个大段，比如10个document的时候合并为1小段，以后有10个小段以后合并到一个大段，有10个大段以后再合并，实际的document数目会是mergeFactor的指数

RAMDirectory 和 FSDirectory 转化

RAMDirectory(RAMD)在效率上比FSDirectyr(FSD)高不少, 所以我们可以手动的把RAMD当作FSD的buffer,这样就不用去很费劲的调优FSD那么多参数了,完全可以先用RAM跑好了index， 周期性（或者是别的什么算法）来回写道FSD中。 RAMD完全可以做FSD的buffer。

为查询优化索引(index)

Indexwriter.optimize()方法可以为查询优化索引（index），之前提到的参数调优是为indexing过程本身优化，而这里是为查询优化，优化主要是减少index文件数，这样让查询的时候少打开文件，优化过程中，lucene会拷贝旧的index再合并，合并完成以后删除旧的index，所以在此期间，磁盘占用增加， IO符合也会增加，在优化完成瞬间，磁盘占用会是优化前的2倍,在optimize过程中可以同时作search。

并发操作Lucene和locking机制

• 所有只读操作都可以并发
• 在index被修改期间，所有只读操作都可以并发
• 对index修改操作不能并发，一个index只能被一个线程占用
• index的优化，合并，添加都是修改操作

Locing

   lucence内部使用文件来locking， 默认的locking文件放在java.io.tmpdir,可以通过-Dorg.apache.lucene.lockDir=xxx指定新的dir，有write.lock commit.lock两个文件，lock文件用来防止并行操作index，如果并行操作， lucene会抛出异常，可以通过设置-DdisableLuceneLocks=true来禁止locking，这样做一般来说很危险，除非你有操作系统或者物理级别的只读保证，比如把index文件刻盘到CDROM上。

调试IndexWriter

IndexWriter 有一个infoStream的变量，调试信息从这里输出。可以把System.out设置给它

1. 对中文支持很差，在windows下还可以用utf-8来处理，在linux下面就很麻烦，我尝试多次也解决不了
2. 是graphviz和java之间无法交互，在java中我只能通过新开一个进程来调用graphviz,完全是blackbox,无法控制,也无法确保图形是否正确绘制。

经过多次尝试，我发现了几个解决方案

1，我发现了graphviz还有一个不起眼的子项目grappa，这个项目是完全用java写的，按照它的文挡说，算是一个简化版本的graphviz (下载grappa比较麻烦，似乎对方的网页有错误，直接给出的连接是下载不到的，我展转在maillist上才成功得到下载地址，带源代码的，如果想要这个的朋友，可以email给我索取) 下载回来一用, 开始是大失所望,原来简化版居然没有graphviz最有价值的自动布局功能.直接生成的图形全部都堆叠在一起, 完全不可用,正打算放弃的时候,发现grappa的的归类在graphviz的view类别中,突然开窍了, 返回回去查,原来graphviz支持多种输出,包括输出.dot文件,svg文件等. 这些文件都是文本的,很好处理,我试了试通过graphviz来生成dot文件和svg文件, 很快,而且中文也没有问题, 经过处理以后的dot文件比原始的dot文件大了不少,查看了以下,发现所有的结点,图形都的是自动布局好了,dot文件里面一一标明了坐标. 这下用grappa处理很成功.  顺利在java中画出图形,(效率明显比graphviz慢不少), 这样一来,第一个办法就是通过graphviz来生成dot, 然后通过grappa来显示. 可以在applet中显示都没有问题, grappa支持很老的java1.1,看来ie中是可以用的

2, graphviz原来可以生成svg文件!,这下就好办多了, 不需要grappa,  通过jakarta的batik包, 我很顺利的通过servlet把svg转换为jpg图片,  中文是支持的 如果有问题可以参见(jdk1.5 在linux下字体设置) . 需要注意的是graphviz对中文没有做特殊处理,在最后生成的xml他会写encoding="utf-8", 但是实际上的编码是你系统默认的编码(我的是gbk) ,所以要手动去调整一下编码.  如果你够变态. 可以用batik把svg读入, 再输出为svg,  最终的svg兼容性就非常好了,  可以通过adobe的svg插件直接在ie中显示.

ps,  使用graphivz的时候, graphiviz没有对长行做自动换行处理, 如果有较长的行, 需要你手动换行, 比如写个程序把12345678换成123\n456\n78,这样最后的效果是换行. 下面这段代码就是干这个事情的

  private static String filter(String raw) {
        String[] lines = raw.trim().split("\n");
        if (lines.length > 0) {
            StringBuffer newline = new StringBuffer();
            for (int i = 0; i < lines.length; i++) {
                String line = lines[i];
                newline.append(shortLine(line));
                if (i != lines.length - 1)
                    newline.append("\\n");
            }
            return newline.toString();
        } else {
            return shortLine(raw);
        }
    }
    private static String shortLine(String line) {
        if (line.length() > 10) {
            char[] chars = line.toCharArray();
            StringBuffer sb = new StringBuffer();
            for (int i = 0; i < chars.length; i++) {
                char aChar = chars[i];
                if (i != 0 && i % 12 == 0)
                    sb.append("\\n");
                sb.append(aChar);

            }
            return sb.toString();
        } else {
            return line;
        }

    }

      Graphviz的主页在http://www.graphviz.org/ ， 他是AT&T Labs-Research开发的图形绘制工具,  他可以很方便的用来绘制结构化的图形网络，支持多种格式输出， 生成图片的质量和速度都不错

      Graphviz本身是开源的产品，下载可以到 这里 ，以及他的演示界面   Graphviz在windows上和Linux上都可以顺利运行

      安装好Graphviz以后， Graphviz的默认命令会自动添加到命令行走， 使用它很简单，我们需要写一个dot文件， 格式如下

把上面的内容保存为test.dot以后，在命令行下通过"dot test.dot  -Tpng -o result.png" 就会在当前目录生成test.png,，非常方便

具体的dot格式可以查阅系统的pdf文档，  我可以给出一个复杂一点的小例子和windows下面中文解决办法

在windows下面 ，把文件保存为utf-8格式，然后在文件中设置  fontname="simyou.ttf"（也可以通过命令行参数-E -N -G fontname="xx" 设置）,在我的简体中文windowsxp中生成的图片是可以正常显示中文的。


通过java来调用Graphviz的方法，代码如下

记得通过通过freemarker来生成dot脚本以后，必须要在本地保存为utf-8，然后用dot去处理， 直接通过管道传String的方法是不行的。我试过多种编码，全部都失败了，另外就是simyou.ttf是字体文件的名字，可以到你的windows\fonts\目录下面找到他们的列表

Lucene 主要的两个任务:indexing and searching

stop words: 出现频率非常高的一些词汇,它们一般没有检索的意义, 比如英文中的(as a, an, the, in)

Searching主要使用的类

IndexSearcher	以只读的方式访问index（注意IndexReader不是只读的),需要传给他一个Query对象来搜索
Term	Term是一个搜索的基本单位,包含一个Field(目标)和一个value(条件),可以直接用new Term("field","condition value")构造
Query	Query有很多子类,比如BooleanQuery,PhraseQuery等,可以在Term基础上加上逻辑(是 否, 或)
TermQuery	一个很基本的Query, 可以由term构造 new TermQuery(term);
Hits	包含了搜索的结构,默认按照相关度排序,hits并不会把所有记录(可能很大)直接保存,而是有一个lazy loading机制

tips

• Lucene允许一个index中的多个Document可以为Heterogeneous(异类) 也就是说,一个Document 有Field (name,price), 下一个Document可以有Field(name,age),两个Document可以代表完全不同的记录,不过这点我还没有想到有什么特别的用处
• 如果需要对Field增加内容的, 可以使用doc.add(Field.Text("word",newword));如果doc中已经有word这个Field, newword会被自动加入进去,原来的会继续存在, 相当于一个"word"实际上对应一个数组，相当于append
• Document的编号是不固定的, 如果对index做了修改, document编号会重新计算
• 如果要删除删除index中的记录，使用IndexReader类完成, IndexReader会先标记删除，真实的删除行为在indexReader关闭时执行.也就是说IndexReader也会修改index
• 通过indexReader.undeleteAll()方法只能恢复同一个indexreader实例标记删除的记录
• 没有update方法，要更新记录, 只能通过delete以后再add来进行, 如果要批量进行, 一次性delete完毕以后关闭Reader再打开Writer来add的效率较高