1          Lucene 的认识

提到 Lucene 很多人都知道这个开源的搜索工具，其魅力也是很大的。它让我们对搜索引擎的认识不在那么神秘，也不会在觉得百度和 google 的技术多么的高深没测，其实其原理都是一样的，只是他们要做的更好，走的更远罢了。

Lucene 可以对任何的数据做索引和搜索，说这样的话其实不过分，真的就是这样，只要你能处理好这些数据，交给 Lucene 去建立索引它都可以帮你把这些数据给检索出来，是不是很好玩了。真正好玩的地方还在后面呢。

2          Lucene 的学习

前面已经对 Lucene 有了一些了解，现在我们想象它怎么去搜索这些数据呢，如果知道倒排索引，你就知道了，其实 lucene 检索的是它自己建立的索引，从索引中的到数据的指针，从而得到数据。其实就这么简单。

提到索引，现在的索引技术中有：倒排索引、后缀数组和签名文件这三种，其中后缀数组这种技术虽然检索速度也很快，但是它的数据结构构造和维护都是相当麻烦的所以不可取了。我也懒得去看了。至于签名文件嘛，那是 80 年代的玩意了，现在已经过时了。现在可是倒排索引的天下啊！相信百度和 google 都是这种技术。

3          索引的建立

我们从索引的建立入手：

我们建立一个 lucene 的索引时必须先建立该索引文件存放的位置，看一下代码：

IndexWriter writer = null;

writer = new IndexWriter("c:\\index", new CJKAnalyzer(), true);

这段代码就时建立一个索引前所必须的操作，先声明这个 IndexWriter ，实例化它你必须传入三个参数。他们分别代表：你要建立索引文件的存放位置、你要使用索引建立的分词方法、是否重新建立索引。这样你就告诉 lucene 我要在 c 盘的 index 目录下建立索引文件，我要使用车东老师的二分词算法做分析器、我要在这个目录下删除以前的索引或任何文件创立我的索引文件。

索引的建立有三种方式，让我一一道来：

1 、 new IndexWriter(new RAMDirectory(), new StandardAnalyzer(), true);

在内存中建立索引，速度最快但是耗资源，而且重启就没了。

2 、 new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true);

在文件系统中建立索引，这里有两个参数，分别是：建立索引的路径、是否要删除当前目录下的文件重新建立索引。

3 、 new IndexWriter("c:\\index", new CJKAnalyzer(), true);

最常见的一种，在制定目录下建立索引，看了源码你就知道这种方法也是用的第二种方式。 Lucene 的源码：

public IndexWriter(String path, Analyzer a, boolean create)

       throws IOException {

 this(FSDirectory.getDirectory(path, create), a, create, true);

  }

我想的没错。

Indexwriter 性能调整参数：

第一个优化的参数 ： mergeFactor 这个参数用于控制 lucene 在把索引从内存写入到磁盘上的文件系统时内存最大的 Document 对象的数量。这个数要根据你的计算机设置，默认情况下是 10 。

    第二个优化的参数 ： maxMergeFactor 这个参数用来设置当有多少个 Segment 时进行合并操作。当然我们知道当索引文件太多的话其检索的速度就会很慢，所以我们要当文件数量一定时让它进行索引的合并。这样就可以加快索引速度，但是这个值要根据你的情况而定。当文档数量较多时我们将值设大些，当文档数量较少时我们将值设小些。

第三个优化的参数 ： minMergeDocs 这个参数用于控制内存中文档的数量。

这样我们建立索引已经完成，接下来我们要建立 Document 对象，因为你必须告诉我要搜索什么吧！好了，看看源码：

File file = new File("1.txt");

Document doc = new Document();

doc.add(Field.UnIndexed("filename", file.getName()));

FileInputStream fis = new FileInputStream(file);

byte[] b = new byte[fis.available()];

fis.read(b);

String content = new String(b);

doc.add(Field.Text("content", content));

fis.close();

以上我们就完成了将 1.txt 文件放到我们的 Document 对象了。这里我们用了 Field.Text(); 这样的操作和 doc.add(); 这样的方法建立的。这也是建立索引的必须。

稍微介绍一下 Field ，它就是你要建立索引的字段。它分别有

    这样我们要建什么样的索引就对号入座吧，只要最后我们使用 doc.add(Field.Text("content", content)); 把它添加到 Document 中就可以了。

    这时我们的文档已经建立好了，现在就开始向索引中添加文档吧！这里我们使用

writer.addDocument(doc); 来向 Indexwriter 索引中添加构造好的文档。

这样我们是不是就可以说我们已经建立完了索引呢，其实不然，我们还要优化优化，这样才快嘛！对不对？

    writer.optimize(); 这样一句话就可以实现索引优化了，具体的优化过程我就不说了，是不是很简单。但是一定不要忘了哦。调用这个方法时最好建立一个合适的周期。定期进行优化。

    好了，这样我们就完成了索引的建立了。

    下面我们看看缩影的合并吧！

当我们在很多地方建立了很多的索引后，想要合并这些索引我们怎么办呢？

    使用 IndexWriter.assIndexs(New Directory[]{path});

就可以对 path 路径下的索引合并到当前的索引中了。

    下面再看看索引的删除吧！

    有一些过时的索引我们需要删除，怎么办呢？

IndexReader reader = IndexReader.open("c:\\index");

    reader.delete(0);

这样我们就可以按照文档的顺序删除对应的文档了，但是这样不太现实，不对吗？我们怎么会知道文档的顺序呢？

下面我们看看第二中方法：

IndexReader reader = IndexReader.open("c:\\index");

reader.delete(new Term("name","word1"));

reader.close();

按照字段来删除对应的文档，这样合理多了。以后要删除时就按照词条的方式去删除吧 !

索引锁： write.lock , commit.lock.

write.lock 是为了避免几个线程同时修改一个索引文档而设置。当实例一个 indexwrite 时建立和使用 indexReader 删除文档时建立。

Commit.lock 该锁主要在 segment 在建立，合并或读取时生成。

4          Lucene 的搜索

以上完成了索引的建立和一些关于索引的知识，但是光有索引是不行的，我们真正要做的检索，这才是我们的关键。现在我们看看 lucene 的检索吧。

认识检索从检索的工具开始吧！ IndexSearcher 类是 lucene 用于检索的工具类，我们在检索之前要得到这个类的实例。

第一步我们看以下代码：

IndexSearcher searcher = new IndexSearcher("c:\\index");

创建 IndexSearcher 实例需要告诉 lucene 索引的位置，就是你 IndexWrite 的文件路径。

Query query = null;

Hits hits = null;

query = QueryParser.parse(key1, "name", new StandardAnalyzer());

hits = searcher.search(query);

if (hits != null) {

           if (hits.length() == 0) {

              System.out.println(" 没有找到任何结果 ");

           } else {

              System.out.print(" 找到 ");

              for (int i = 0; i < hits.length(); i++) {

                  Document d = hits.doc(i);

                  String dname = d.get("title");

                  System.out.print(dname + "   " );

              }

           }

       }

}

以上就是一个完整的检索过程，这里我们看见了个 Query 和 Hits ，这两个类就是比较关键的了，我们先从检索结果的 Hits 类说起。

我们使用 Hits 经常使用的几个方法有：

length() :  返回搜索结果的总数量。

Doc(int n) : 放回第 n 个文档。

Id(int n) : 返回第 n 个文档的内部编号。

Sorce(int n) : 返回第 n 个文档的得分。

看见这个 Sorce(int n) 这个方法，是不是就可以联想到搜索引擎的排序问题呢，像百度的推广是怎么做出来的呢 , 可想而知吧，那就说明必定存在一中方法可以动态的改变某片文档的得分。对了， lucene 中可以使用 Document 的 setBoost 方法可以改变当前文档的 boost 因子。

下面我们看看：

Document doc1 = new Document();

doc1.add(Field.Text("contents", "word1 word"));

doc1.add(Field.Keyword("path", "path\\document1.txt"));

 doc1.setBoost(1.0f);

  这样我们就在改变了篇文档的评分了，当 boost 的值越大它的分值就越高，其出现的位置就越靠前。

让我们再来看看 lucene 为我们提供的各种 Query 吧。

第一、   按词条搜索 － TermQuery
query = new TermQuery(new Term("name","word1"));

hits = searcher.search(query);

这样就可以把 field 为 name 的所有包含 word1 的文档检索出来了。

第二、  “与或”搜索 － BooleanQuery

它实际是一个组合 query 看看下面的代码：

query1 = new TermQuery(new Term("name","word1"));

query2 = new TermQuery(new Term("name","word2"));

query = new BooleanQuery();

query.add(query1, false, false);

query.add(query2, false, false);

hits = searcher.search(query);

看看 booleanQuery 的用法吧：

true & true : 表明当前加入的字句是必须要满足的。相当于逻辑与。

false & true : 表明当前加入的字句是不可一被满足的， 相当于逻辑非。

false & false : 表明当前加入的字句是可选的，相当于逻辑或。

true & true : 错误的情况。

Lucene 可以最多支持连续 1024 的 query 的组合。

第三、  在某一范围内搜索 － RangeQuery

IndexSearcher searcher = new IndexSearcher("c:\\index");

     Term beginTime = new Term("time","200001");

     Term endTime = new Term("time","200005");

     Hits hits = null;

     RangeQuery query = null;

     query = new RangeQuery(beginTime, endTime, false);

     hits = searcher.search(query);

RangeQuery 的构造函数的参数分别代表起始、结束、是否包括边界。这样我们就可以按照要求检索了。

第四、  使用前缀检索 － PrefixQuery

这个检索的机制有点类似于 indexOf() 从前缀查找。这个常在英文中使用，中文中就很少使用了。代码如下：

IndexSearcher searcher = new IndexSearcher("c:\\index");

       Term pre1 = new Term("name", "Da");

       query = new PrefixQuery(pre1);

       hits = searcher.search(query);

第五、  多关键字的搜索 － PhraseQuery

可以多个关键字同时查询。使用如下：

query = new PhraseQuery();

       query.add(word1);

       query.add(word2);

       query.setSlop(0);

       hits = searcher.search(query);

       printResult(hits, "'david' 与 'mary' 紧紧相隔的 Document");

       query.setSlop(2);

       hits = searcher.search(query);

       printResult(hits, "'david' 与 'mary' 中相隔两个词的短语 ");

    这里我们要注意 query.setSlop(); 这个方法的含义。

query.setSlop(0);  紧紧相连 （这个的条件比较苛刻）

query.setSlop(2);  相隔

第六、  使用短语缀搜索 － PharsePrefixQuery

使用 PharsePrefixQuery 可以很容易的实现相关短语的检索功能。

实例：

query = new PhrasePrefixQuery();

       // 加入可能的所有不确定的词

Term word1 = new Term("content", "david");

       Term word2 = new Term("content", "mary");

       Term word3 = new Term("content", "smith");

       Term word4 = new Term("content", "robert");

       query.add(new Term[]{word1, word2});

       // 加入确定的词

       query.add(word4);

       query.setSlop(2);

       hits = searcher.search(query);

       printResult(hits, " 存在短语 'david robert' 或 'mary robert' 的文档 ");

第七、  相近词语的搜索 － fuzzyQuery

可以通俗的说它是一种模糊查询。

实例：

Term word1 = new Term("content", "david");

       Hits hits = null;

       FuzzyQuery query = null;

       query = new FuzzyQuery(word1);

       hits = searcher.search(query);

       printResult(hits," 与 'david' 相似的词 ");

第八、  使用通配符搜索 － WildcardQuery

实例：

IndexSearcher searcher = new IndexSearcher("c:\\index");

       Term word1 = new Term("content", "*ever");

       Term word2 = new Term("content", "wh?ever");

       Term word3 = new Term("content", "h??ever");

       Term word4 = new Term("content", "ever*");

       WildcardQuery query = null;

       Hits hits = null;

       query = new WildcardQuery(word1);

       hits = searcher.search(query);

       printResult(hits, "*ever");

       query = new WildcardQuery(word2);

       hits = searcher.search(query);

       printResult(hits, "wh?ever");     

       query = new WildcardQuery(word3);

       hits = searcher.search(query);

       printResult(hits, "h??ever");     

       query = new WildcardQuery(word4);

       hits = searcher.search(query);

       printResult(hits, "ever*");

    由上可以看出通配符？代便 1 个字符， * 代表 0 到多个字符。

Lucene 现在支持以上八中的搜索方式，我们可以根据需要选择适合自己的搜索方式。当然上面提供的一些可能对英文还是比较有效，中文就不可取了，所以我们开始想想百度，我们只在一个输入框中搜索结果。有了这个疑问我们揭开下一章的讨论吧！

查询字符串的解析：这个就是我们经常在一个输入框中输入我们要检索的文字，交给搜索引擎去帮我们分词。

QueryParser 类就是对查询字符串的解析类。

看看它的用法：

query = QueryParser.parse(key1, "name", new StandardAnalyzer());

hits = searcher.search(query);

它直接返回一个 Query 对象。需要传入的参数分别是：

用户需要查询的字符串、需要检索的对应字段名称、采用的分词类。

Analyzer analyzer = new CJKAnalyzer();

String[] fields = {"filename", "content"};

Query query = MultiFieldQueryParser.parse(searchword, fields, analyzer);

Hits hits = searcher.search(query);

QueryParser 的“与” 和 “或”：

QueryParser 之间默认是或，我们想改变为与的话加入以下代码：

QueryParser.setOperator(QueryParser.DEFAULT_OPERATOR_AND);

就可以了。

5          高级搜索技巧

前面我们已经介绍了一般情况下 lucene 的使用技巧，现在我们探讨一下高级搜索的技巧吧！

1、 对搜索结果进行排序：

1） 使用 sort 类排序：

    Sort sort = new Sort();

        hits = searcher.search(query,sort);

这种方式是使用默认的 sort 排序方式进行排序。默认的 sort 排序是按照相关度进行排序。即通过 luence 的评分机制进行排序。

2) 对某一字段进行排序

       Sort sort = new Sort( “ content ” );

      hits = searcher.search(query,sort);

3) 对多个字段进行排序

Sort sort = new Sort(new SortField[]{new SortField("title"),new SortField("contents")});

hits = searcher.search(query,sort);

2、 多域搜索和多索引搜索：

在使用 luecene 时，如果查询的只是某些 terms ，而不关心这些词条到时来自那个字段中时。这时可以使用 MultiFieldQueryParser 类。这个用于用户搜索含有某个关键字是否存在在字段中，他们之间的关系使用 OR 连接。即不管存在在哪一个字段都会显示显示出来。

使用 MultiSearcher 可以满足同时多索引的搜索需求。

Searcher[] searchers = new Searcher[2];

searchers[0] = new IndexSearcher(indexStoreB);

searchers[1] = new IndexSearcher(indexStoreA);

        // 创建一个多索引检索器

Searcher mSearcher = new MultiSearcher(searchers);

3、     对搜索结果进行过滤：

1)    对时间进行过滤

         通常情况下我们对搜索结果要进行过滤显示，即只显示过滤后的结果。

doc.add(Field.Keyword("datefield", DateField.timeToString(now - 1000)));

DateFilter df1 = DateFilter.Before("datefield", now);

2)        查询过滤器

通过查询过滤器可以过滤一部分的信息。

Filter filter = new Filter()

        {

       public BitSet bits (IndexReader reader) throws IOException

          {

            BitSet bitset = new BitSet(5);

            bitset.set (1);

            bitset.set (3);

            return bitset;

          }

        };

        // 生成带有过滤器的查询对象

        Query filteredquery = new FilteredQuery (query, filter);

       // 返回检索结果

        Hits hits = searcher.search (filteredquery);

这样我们就可以使用自己定义的过滤方式去过滤信息了。

3)    带缓存的过滤器：

使用待缓存的过滤器我们可以重用过滤功能，如下：

MockFilter filter = new MockFilter();

 CachingWrapperFilter cacher = new CachingWrapperFilter(filter);

        cacher.bits(reader);

以上介绍完了现在学习 luence ，没有太详细的介绍它的实现，因为它对于我们来说是一个工具，既然是工具我们就要会用就可以了。

Lucene 是一个基于 Java 的全文检索工具包，你可以利用它来为你的应用程序加入索引和检索功能。Lucene 目前是著名的 Apache Jakarta 家族中的一个开源项目，下面我们即将学习 Lucene 的索引机制以及它的索引文件的结构。

在这篇文章中，我们首先演示如何使用 Lucene 来索引文档，接着讨论如何提高索引的性能。最后我们来分析 Lucene 的索引文件结构。需要记住的是，Lucene 不是一个完整的应用程序，而是一个信息检索包，它方便你为你的应用程序添加索引和搜索功能。

架构概览

图一显示了 Lucene 的索引机制的架构。Lucene 使用各种解析器对各种不同类型的文档进行解析。比如对于 HTML 文档，HTML 解析器会做一些预处理的工作，比如过滤文档中的 HTML 标签等等。HTML 解析器的输出的是文本内容，接着 Lucene 的分词器(Analyzer)从文本内容中提取出索引项以及相关信息，比如索引项的出现频率。接着 Lucene 的分词器把这些信息写到索引文件中。

回页首

用Lucene索引文档

接下来我将一步一步的来演示如何利用 Lucene 为你的文档创建索引。只要你能将要索引的文件转化成文本格式，Lucene 就能为你的文档建立索引。比如，如果你想为 HTML 文档或者 PDF 文档建立索引，那么首先你就需要从这些文档中提取出文本信息，然后把文本信息交给 Lucene 建立索引。我们接下来的例子用来演示如何利用 Lucene 为后缀名为 txt 的文件建立索引。

1． 准备文本文件

首先把一些以 txt 为后缀名的文本文件放到一个目录中，比如在 Windows 平台上，你可以放到 C:\\files_to_index 下面。

2． 创建索引

清单1是为我们所准备的文档创建索引的代码。

package lucene.index;
            import java.io.File;
            import java.io.FileReader;
            import java.io.Reader;
            import java.util.Date;
            import org.apache.lucene.analysis.Analyzer;
            import org.apache.lucene.analysis.standard.StandardAnalyzer;
            import org.apache.lucene.document.Document;
            import org.apache.lucene.document.Field;
            import org.apache.lucene.index.IndexWriter;
            /**
            * This class demonstrates the process of creating an index with Lucene
            * for text files in a directory.
            */
            public class TextFileIndexer {
            public static void main(String[] args) throws Exception{
            //fileDir is the directory that contains the text files to be indexed
            File   fileDir  = new File("C:\\files_to_index ");
            //indexDir is the directory that hosts Lucene's index files
            File   indexDir = new File("C:\\luceneIndex");
            Analyzer luceneAnalyzer = new StandardAnalyzer();
            IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,true);
            File[] textFiles  = fileDir.listFiles();
            long startTime = new Date().getTime();
            //Add documents to the index
            for(int i = 0; i < textFiles.length; i++){
            if(textFiles[i].isFile() >> textFiles[i].getName().endsWith(".txt")){
            System.out.println("File " + textFiles[i].getCanonicalPath()
            + " is being indexed");
            Reader textReader = new FileReader(textFiles[i]);
            Document document = new Document();
            document.add(Field.Text("content",textReader));
            document.add(Field.Text("path",textFiles[i].getPath()));
            indexWriter.addDocument(document);
            }
            }
            indexWriter.optimize();
            indexWriter.close();
            long endTime = new Date().getTime();
            System.out.println("It took " + (endTime - startTime)
            + " milliseconds to create an index for the files in the directory "
            + fileDir.getPath());
            }
            }
            

正如清单1所示，你可以利用 Lucene 非常方便的为文档创建索引。接下来我们分析一下清单1中的比较关键的代码，我们先从下面的一条语句开始看起。

Analyzer luceneAnalyzer = new StandardAnalyzer();
            

这条语句创建了类 StandardAnalyzer 的一个实例，这个类是用来从文本中提取出索引项的。它只是抽象类 Analyzer 的其中一个实现。Analyzer 也有一些其它的子类，比如 SimpleAnalyzer 等。

我们接着看另外一条语句：

IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,true);
            

这条语句创建了类 IndexWriter 的一个实例，该类也是 Lucene 索引机制里面的一个关键类。这个类能创建一个新的索引或者打开一个已存在的索引并为该所引添加文档。我们注意到该类的构造函数接受三个参数，第一个参数指定了存储索引文件的路径。第二个参数指定了在索引过程中使用什么样的分词器。最后一个参数是个布尔变量，如果值为真，那么就表示要创建一个新的索引，如果值为假，就表示打开一个已经存在的索引。

接下来的代码演示了如何添加一个文档到索引文件中。

Document document = new Document();
            document.add(Field.Text("content",textReader));
            document.add(Field.Text("path",textFiles[i].getPath()));
            indexWriter.addDocument(document);
            

首先第一行创建了类 Document 的一个实例，它由一个或者多个的域(Field)组成。你可以把这个类想象成代表了一个实际的文档，比如一个 HTML 页面，一个 PDF 文档，或者一个文本文件。而类 Document 中的域一般就是实际文档的一些属性。比如对于一个 HTML 页面，它的域可能包括标题，内容，URL 等。我们可以用不同类型的 Field 来控制文档的哪些内容应该索引，哪些内容应该存储。如果想获取更多的关于 Lucene 的域的信息，可以参考 Lucene 的帮助文档。代码的第二行和第三行为文档添加了两个域，每个域包含两个属性，分别是域的名字和域的内容。在我们的例子中两个域的名字分别是"content"和"path"。分别存储了我们需要索引的文本文件的内容和路径。最后一行把准备好的文档添加到了索引当中。

当我们把文档添加到索引中后，不要忘记关闭索引，这样才保证 Lucene 把添加的文档写回到硬盘上。下面的一句代码演示了如何关闭索引。

indexWriter.close();
            

利用清单1中的代码，你就可以成功的将文本文档添加到索引中去。接下来我们看看对索引进行的另外一种重要的操作，从索引中删除文档。

回页首

从索引中删除文档

类IndexReader负责从一个已经存在的索引中删除文档，如清单2所示。

File   indexDir = new File("C:\\luceneIndex");
            IndexReader ir = IndexReader.open(indexDir);
            ir.delete(1);
            ir.delete(new Term("path","C:\\file_to_index\lucene.txt"));
            ir.close();
            

在清单2中，第二行用静态方法 IndexReader.open(indexDir) 初始化了类 IndexReader 的一个实例，这个方法的参数指定了索引的存储路径。类 IndexReader 提供了两种方法去删除一个文档，如程序中的第三行和第四行所示。第三行利用文档的编号来删除文档。每个文档都有一个系统自动生成的编号。第四行删除了路径为"C:\\file_to_index\lucene.txt"的文档。你可以通过指定文件路径来方便的删除一个文档。值得注意的是虽然利用上述代码删除文档使得该文档不能被检索到，但是并没有物理上删除该文档。Lucene 只是通过一个后缀名为 .delete 的文件来标记哪些文档已经被删除。既然没有物理上删除，我们可以方便的把这些标记为删除的文档恢复过来，如清单 3 所示，首先打开一个索引，然后调用方法 ir.undeleteAll() 来完成恢复工作。

File   indexDir = new File("C:\\luceneIndex");
            IndexReader ir = IndexReader.open(indexDir);
            ir.undeleteAll();
            ir.close();
            

你现在也许想知道如何物理上删除索引中的文档，方法也非常简单。清单 4 演示了这个过程。

File   indexDir = new File("C:\\luceneIndex");
            Analyzer luceneAnalyzer = new StandardAnalyzer();
            IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,false);
            indexWriter.optimize();
            indexWriter.close();
            

在清单 4 中，第三行创建了类 IndexWriter 的一个实例，并且打开了一个已经存在的索引。第 4 行对索引进行清理，清理过程中将把所有标记为删除的文档物理删除。

Lucene 没有直接提供方法对文档进行更新，如果你需要更新一个文档，那么你首先需要把这个文档从索引中删除，然后把新版本的文档加入到索引中去。

回页首

提高索引性能

利用 Lucene，在创建索引的工程中你可以充分利用机器的硬件资源来提高索引的效率。当你需要索引大量的文件时，你会注意到索引过程的瓶颈是在往磁盘上写索引文件的过程中。为了解决这个问题, Lucene 在内存中持有一块缓冲区。但我们如何控制 Lucene 的缓冲区呢？幸运的是，Lucene 的类 IndexWriter 提供了三个参数用来调整缓冲区的大小以及往磁盘上写索引文件的频率。

1．合并因子（mergeFactor）

这个参数决定了在 Lucene 的一个索引块中可以存放多少文档以及把磁盘上的索引块合并成一个大的索引块的频率。比如，如果合并因子的值是 10，那么当内存中的文档数达到 10 的时候所有的文档都必须写到磁盘上的一个新的索引块中。并且，如果磁盘上的索引块的隔数达到 10 的话，这 10 个索引块会被合并成一个新的索引块。这个参数的默认值是 10，如果需要索引的文档数非常多的话这个值将是非常不合适的。对批处理的索引来讲，为这个参数赋一个比较大的值会得到比较好的索引效果。

2．最小合并文档数

这个参数也会影响索引的性能。它决定了内存中的文档数至少达到多少才能将它们写回磁盘。这个参数的默认值是10，如果你有足够的内存，那么将这个值尽量设的比较大一些将会显著的提高索引性能。

3．最大合并文档数

这个参数决定了一个索引块中的最大的文档数。它的默认值是 Integer.MAX_VALUE，将这个参数设置为比较大的值可以提高索引效率和检索速度，由于该参数的默认值是整型的最大值，所以我们一般不需要改动这个参数。

清单 5 列出了这个三个参数用法，清单 5 和清单 1 非常相似，除了清单 5 中会设置刚才提到的三个参数。

/**
            * This class demonstrates how to improve the indexing performance
            * by adjusting the parameters provided by IndexWriter.
            */
            public class AdvancedTextFileIndexer  {
            public static void main(String[] args) throws Exception{
            //fileDir is the directory that contains the text files to be indexed
            File   fileDir  = new File("C:\\files_to_index");
            //indexDir is the directory that hosts Lucene's index files
            File   indexDir = new File("C:\\luceneIndex");
            Analyzer luceneAnalyzer = new StandardAnalyzer();
            File[] textFiles  = fileDir.listFiles();
            long startTime = new Date().getTime();
            int mergeFactor = 10;
            int minMergeDocs = 10;
            int maxMergeDocs = Integer.MAX_VALUE;
            IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,true);
            indexWriter.mergeFactor = mergeFactor;
            indexWriter.minMergeDocs = minMergeDocs;
            indexWriter.maxMergeDocs = maxMergeDocs;
            //Add documents to the index
            for(int i = 0; i < textFiles.length; i++){
            if(textFiles[i].isFile() >> textFiles[i].getName().endsWith(".txt")){
            Reader textReader = new FileReader(textFiles[i]);
            Document document = new Document();
            document.add(Field.Text("content",textReader));
            document.add(Field.Keyword("path",textFiles[i].getPath()));
            indexWriter.addDocument(document);
            }
            }
            indexWriter.optimize();
            indexWriter.close();
            long endTime = new Date().getTime();
            System.out.println("MergeFactor: " + indexWriter.mergeFactor);
            System.out.println("MinMergeDocs: " + indexWriter.minMergeDocs);
            System.out.println("MaxMergeDocs: " + indexWriter.maxMergeDocs);
            System.out.println("Document number: " + textFiles.length);
            System.out.println("Time consumed: " + (endTime - startTime) + " milliseconds");
            }
            }
            

通过这个例子，我们注意到在调整缓冲区的大小以及写磁盘的频率上面 Lucene 给我们提供了非常大的灵活性。现在我们来看一下代码中的关键语句。如下的代码首先创建了类 IndexWriter 的一个实例，然后对它的三个参数进行赋值。

int mergeFactor = 10;
            int minMergeDocs = 10;
            int maxMergeDocs = Integer.MAX_VALUE;
            IndexWriter indexWriter = new IndexWriter(indexDir,luceneAnalyzer,true);
            indexWriter.mergeFactor = mergeFactor;
            indexWriter.minMergeDocs = minMergeDocs;
            indexWriter.maxMergeDocs = maxMergeDocs;
            

下面我们来看一下这三个参数取不同的值对索引时间的影响，注意参数值的不同和索引之间的关系。我们为这个实验准备了 10000 个测试文档。表 1 显示了测试结果。

通过表 1，你可以清楚地看到三个参数对索引时间的影响。在实践中，你会经常的改变合并因子和最小合并文档数的值来提高索引性能。只要你有足够大的内存，你可以为合并因子和最小合并文档数这两个参数赋尽量大的值以提高索引效率，另外我们一般无需更改最大合并文档数这个参数的值，因为系统已经默认将它设置成了最大。

回页首

Lucene 索引文件结构分析

在分析 Lucene 的索引文件结构之前，我们先要理解反向索引（Inverted index）这个概念，反向索引是一种以索引项为中心来组织文档的方式，每个索引项指向一个文档序列，这个序列中的文档都包含该索引项。相反，在正向索引中，文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。你可以利用反向索引轻松的找到那些文档包含了特定的索引项。Lucene正是使用了反向索引作为其基本的索引结构。

回页首

索引文件的逻辑视图

在Lucene 中有索引块的概念，每个索引块包含了一定数目的文档。我们能够对单独的索引块进行检索。图 2 显示了 Lucene 索引结构的逻辑视图。索引块的个数由索引的文档的总数以及每个索引块所能包含的最大文档数来决定。

回页首

Lucene 中的关键索引文件

下面的部分将会分析Lucene中的主要的索引文件，可能分析有些索引文件的时候没有包含文件的所有的字段，但不会影响到对索引文件的理解。

1．索引块文件

这个文件包含了索引中的索引块信息，这个文件包含了每个索引块的名字以及大小等信息。表 2 显示了这个文件的结构信息。

2．域信息文件

我们知道，索引中的文档由一个或者多个域组成，这个文件包含了每个索引块中的域的信息。表 3 显示了这个文件的结构。

3．索引项信息文件

这是索引文件里面最核心的一个文件，它存储了所有的索引项的值以及相关信息，并且以索引项来排序。表 4 显示了这个文件的结构。

4．频率文件

这个文件包含了包含索引项的文档的列表，以及索引项在每个文档中出现的频率信息。如果Lucene在索引项信息文件中发现有索引项和搜索词相匹配。那么 Lucene 就会在频率文件中找有哪些文件包含了该索引项。表5显示了这个文件的一个大致的结构，并没有包含这个文件的所有字段。

5．位置文件

这个文件包含了索引项在每个文档中出现的位置信息，你可以利用这些信息来参与对索引结果的排序。表 6 显示了这个文件的结构

到目前为止我们介绍了 Lucene 中的主要的索引文件结构，希望能对你理解 Lucene 的物理的存储结构有所帮助。

回页首

总结

目前已经有非常多的知名的组织正在使用 Lucene，比如，Lucene 为 Eclipse 的帮助系统，麻省理工学院的 OpenCourseWare 提供了搜索功能。通过阅读这篇文章，希望你能对 Lucene 的索引机制有所了解，并且你会发现利用 Lucene 创建索引是非常简单的事情。