BlogJava-DANCE WITH JAVA-随笔分类-搜索引擎lucence

lucene入门合集

dreamstone — Sun, 29 Jul 2007 12:09:00 GMT

dreamstone 2007-07-29 20:09 发表评论

lucene的中文分词器

dreamstone — Fri, 22 Jun 2007 01:15:00 GMT

lucene的中文分词器到现在还没有好的解决办法。下边介绍了两个lucene自己提供的分词器和一个javaeye上的网友实现的分词器。关于各个分词器的不同见代码中的print信息。直接运行得到console的输出结果更容易对比不同。

package analyzer;

import java.io.Reader;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.StopFilter;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.cn.ChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.mira.lucene.analysis.IK_CAnalyzer;
import org.mira.lucene.analysis.MIK_CAnalyzer;

import com.sohospace.lucene.analysis.xanalyzer.XAnalyzer;
import com.sohospace.lucene.analysis.xanalyzer.XFactory;
import com.sohospace.lucene.analysis.xanalyzer.XTokenizer;
//中文分词使用了Paoding的分词技术，特表示感谢
public class TestCJKAnalyzer {
    private static String testString1 = "中华人民共和国在1949年建立，从此开始了新中国的伟大篇章";
    private static String testString2 = "比尔盖茨从事餐饮业和服务业方面的工作";
    public static void testStandard(String testString) throws Exception{
        Analyzer analyzer = new StandardAnalyzer();
        Reader r = new StringReader(testString);
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====standard analyzer====");
        System.err.println("分析方法：默认没有词只有字");
        Token t;
        while ((t = sf.next()) != null) {
            System.out.println(t.termText());
        }
    }
    public static void testCJK(String testString) throws Exception{
        Analyzer analyzer = new CJKAnalyzer();
        Reader r = new StringReader(testString);
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====cjk analyzer====");
        System.err.println("分析方法:交叉双字分割");
        Token t;
        while ((t = sf.next()) != null) {
            System.out.println(t.termText());
        }
    }
    public static void testChiniese(String testString) throws Exception{
        Analyzer analyzer = new ChineseAnalyzer();
        Reader r = new StringReader(testString);
        TokenFilter tf = (TokenFilter) analyzer.tokenStream("", r);
        System.err.println("=====chinese analyzer====");
        System.err.println("分析方法:基本等同StandardAnalyzer");
        Token t;
        while ((t = tf.next()) != null) {
            System.out.println(t.termText());
        }
    }
    public static void testPaoding(String testString) throws Exception{
        XAnalyzer analyzer = XFactory.getQueryAnalyzer();
        Reader r = new StringReader(testString);
        XTokenizer ts = (XTokenizer) analyzer.tokenStream("", r);
        System.err.println("=====paoding analyzer====");
        System.err.println("分析方法:字典分词,去掉停止词。在字典不能匹配的情况下使用CJKAnalyzer的分割发。");
        Token t;
        while ((t = ts.next()) != null) {
           System.out.println(t.termText());
        }
    }
    public static void testJe(String testString) throws Exception{
//        Analyzer analyzer = new MIK_CAnalyzer();
        Analyzer analyzer = new IK_CAnalyzer();
        Reader r = new StringReader(testString);
        TokenStream ts = (TokenStream)analyzer.tokenStream("", r);
        System.err.println("=====je analyzer====");
        System.err.println("分析方法:字典分词,正反双向搜索，具体不明");
        Token t;
        while ((t = ts.next()) != null) {
           System.out.println(t.termText());
        }
    }
    public static void main(String[] args) throws Exception{
//        String testString = testString1;
        String testString = testString1;
        System.out.println(testString);

        testStandard(testString);
        testCJK(testString);
        testPaoding(testString);

//        testChiniese(testString);
//        testJe(testString);
    }

}

dreamstone 2007-06-22 09:15 发表评论

lucene的丰富的各种查询（二）

dreamstone — Thu, 21 Jun 2007 07:08:00 GMT

和上文一样，列写lucene的查询用法
包括了RangeQuery prefixQuery phraseQuery wildcastQuery fuzzyQuery
被索引查询的文件，按照需求自己构造即可。

package search;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.PhraseQuery;
import org.apache.lucene.search.PrefixQuery;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.RangeQuery;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.WildcardQuery;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;

public class SearcherShow {
    private static Directory directory = new RAMDirectory();
    public static void preIndex() throws Exception{
        String fileName1 = "./data/searchShow.txt";
        String fileName2 = "./data/searchShow2.txt";
        String fileName3 = "./data/test.txt";
        IndexWriter writer = new IndexWriter(directory,new StandardAnalyzer(),true);
        Document doc1 = getDocument(fileName1);
        Document doc2 = getDocument(fileName2);
        Document doc3 = getDocument(fileName3);
        writer.addDocument(doc1);
        writer.addDocument(doc2);
        writer.addDocument(doc3);
        writer.close();

    }
    //先建立索引才能执行

    //termQuery   rangeQuery   booleanQuery的查询在Searcher类中
    public static void rangeQuery() throws Exception{
        Term startTerm = new Term("lastmodified","20070620");
        Term endTerm = new Term("lastmodified","20070622");
        RangeQuery query = new RangeQuery(startTerm,endTerm,true);
        IndexSearcher searcher = new IndexSearcher(directory);
        Hits hits = searcher.search(query);
        prtHits(hits);
    }
    public static void prefixQuery() throws Exception{
        Term term = new Term("fileName","searchShow.txt");
        Term prefixterm = new Term("fileName","searchShow");
        IndexSearcher searcher = new IndexSearcher(directory);
        Query query = new TermQuery(term);
        Query prefixQuery = new PrefixQuery(prefixterm);
        Hits hits = searcher.search(query);
        Hits prefixHits = searcher.search(prefixQuery);
        prtHits(hits);
        System.out.println("----------");
        prtHits(prefixHits);
    }
    public static void phraseQuery() throws Exception{
        IndexSearcher searcher = new IndexSearcher(directory);
        PhraseQuery query = new PhraseQuery();
        query.setSlop(2);
        query.add(new Term("contents","quick"));
        query.add(new Term("contents","fox"));
        Hits hits = searcher.search(query);
        prtHits(hits);
    }
    public static void wildcardQuery() throws Exception{
        IndexSearcher searcher = new IndexSearcher(directory);
        Query query = new WildcardQuery(new Term("contents","?ild*"));
        Hits hits = searcher.search(query);
        prtHits(hits);
    }
    public static void fuzzyQuery() throws Exception{
        IndexSearcher searcher = new IndexSearcher(directory);
        Term term = new Term("contents","wuzza");
        FuzzyQuery query = new FuzzyQuery(term);
        Hits hits = searcher.search(query);
        prtHits(hits);
    }
    public static Document getDocument(String fileName) throws Exception{
        File file = new File(fileName);
        Document doc = new Document();
        doc.add(Field.Keyword("fileName",file.getName() ));
        Date modified = new Date(file.lastModified());
        String lastmodified = new SimpleDateFormat("yyyyMMdd").format(modified);
        doc.add(Field.Keyword("lastmodified", lastmodified));
        BufferedReader br = new BufferedReader(new InputStreamReader(
                new FileInputStream(file)));
        StringBuffer sb = new StringBuffer();
        String line = null;
        while ((line = br.readLine()) != null) {
            sb.append(line);
        }
        br.close();
        doc.add(Field.Text("contents",sb.toString() ));
        return doc;
    }
    public static void prtHits(Hits hits) throws Exception{
        for(int i=0;i<hits.length();i++){
            Document doc = hits.doc(i);
            System.out.println(doc.get("fileName"));
            System.out.println(doc.get("lastmodified"));
        }
    }
    public static void main(String[] args) throws Exception{
        preIndex();
//        rangeQuery();
//        prefixQuery();
//        phraseQuery();
//        wildcardQuery();
        fuzzyQuery();
    }
}

dreamstone 2007-06-21 15:08 发表评论

lucene的丰富的各种查询(一)

dreamstone — Thu, 21 Jun 2007 07:06:00 GMT

lucene支持十分丰富的查询，这里列写其中一些比较常用的查询的用法。
term查询、queryParser查询 ,booleanQuery

package search;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.index.Term;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.BooleanQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Searcher {
    public static void termQuery() throws Exception{
        Directory directory = FSDirectory.getDirectory("./index", false);
        IndexSearcher searcher = new IndexSearcher(directory);
        Term t = new Term("body","document");
        Query query = new TermQuery(t);
        Hits hits = searcher.search(query);
        System.out.println(hits.length());
    }
    public static void queryParser() throws Exception{
        Directory directory = FSDirectory.getDirectory("./index", false);
        IndexSearcher searcher = new IndexSearcher(directory);
        Query query = QueryParser.parse("text","body",new StandardAnalyzer());
        Hits hits = searcher.search(query);
        System.out.println(hits.length());
    }
    public static void booleanQuery() throws Exception{
        Query parseQuery = QueryParser.parse("text","body",new StandardAnalyzer());
        Term t = new Term("body","document");
        Query termQuery = new TermQuery(t);
        BooleanQuery boolQuery = new BooleanQuery();
        boolQuery.add(parseQuery,true,false);
        boolQuery.add(termQuery,true,false);

        Directory directory = FSDirectory.getDirectory("./index", false);
        IndexSearcher searcher = new IndexSearcher(directory);
        Hits hits = searcher.search(boolQuery);
        System.out.println(hits.length());
    }
    public static void main(String[] args) throws Exception{
        termQuery();
        queryParser();
        booleanQuery();
    }
}

dreamstone 2007-06-21 15:06 发表评论

比较lucene各种英文分析器Analyzer

dreamstone — Wed, 20 Jun 2007 08:46:00 GMT

比较常用的几种英文分析器，他们之间的区别见程序中的注释。
SimpleAnalyzer
StandardAnalyzer
WhitespaceAnalyzer
StopAnalyzer

package analyzer;

import java.io.Reader;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.SimpleAnalyzer;
import org.apache.lucene.analysis.StopAnalyzer;
import org.apache.lucene.analysis.StopFilter;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class TestAnalyzer {
    private static String testString1 = "The quick brown fox jumped over the lazy dogs";
    private static String testString2 = "xy&z mail is - xyz@sohu.com";
    public static void testWhitespace(String testString) throws Exception{
        Analyzer analyzer = new WhitespaceAnalyzer();
        Reader r = new StringReader(testString);
        Tokenizer ts = (Tokenizer) analyzer.tokenStream("", r);
        System.err.println("=====Whitespace analyzer====");
        System.err.println("分析方法：空格分割");
        Token t;
        while ((t = ts.next()) != null) {
           System.out.println(t.termText());
        }
    }
    public static void testSimple(String testString) throws Exception{
        Analyzer analyzer = new SimpleAnalyzer();
        Reader r = new StringReader(testString);
        Tokenizer ts = (Tokenizer) analyzer.tokenStream("", r);
        System.err.println("=====Simple analyzer====");
        System.err.println("分析方法：空格及各种符号分割");
        Token t;
        while ((t = ts.next()) != null) {
           System.out.println(t.termText());
        }
    }
    public static void testStop(String testString) throws Exception{
        Analyzer analyzer = new StopAnalyzer();
        Reader r = new StringReader(testString);
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====stop analyzer====");
        System.err.println("分析方法：空格及各种符号分割,去掉停止词，停止词包括 is,are,in,on,the等无实际意义的词");
        //停止词
        Token t;
        while ((t = sf.next()) != null) {
           System.out.println(t.termText());
        }
    }
    public static void testStandard(String testString) throws Exception{
        Analyzer analyzer = new StandardAnalyzer();
        Reader r = new StringReader(testString);
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====standard analyzer====");
        System.err.println("分析方法：混合分割,包括了去掉停止词，支持汉语");
        Token t;
        while ((t = sf.next()) != null) {
            System.out.println(t.termText());
        }
    }
    public static void main(String[] args) throws Exception{
//        String testString = testString1;
        String testString = testString2;
        System.out.println(testString);
        testWhitespace(testString);
        testSimple(testString);
        testStop(testString);
        testStandard(testString);
    }

}

dreamstone 2007-06-20 16:46 发表评论

lucene建立索引时候的用到的一些文档和目录操作

dreamstone — Wed, 20 Jun 2007 08:43:00 GMT

在前边的文章中多是用的添加一个document，这里介绍一下其它的文档操作
1,按照编号删除

public void deleteDoc(String indexDir) throws Exception{
        IndexReader reader = IndexReader.open(indexDir);
        reader.delete(1);
        reader.close();
    }

2,根据term来删除

public void deleteDocWithTerm(String indexDir) throws Exception{
        IndexReader reader = IndexReader.open(indexDir);
        reader.delete(new Term("city","beijing"));
        reader.close();
    }

3,取消删除

public void undeleteDoc(String indexDir) throws Exception{
        IndexReader reader = IndexReader.open(indexDir);
        reader.delete(1);
        reader.undeleteAll();
        reader.close();
    }

4,删除后优化

public void mergeDoc(String indexDir) throws Exception{
        IndexReader reader = IndexReader.open(indexDir);
        reader.delete(new Term("city","beijing"));
        reader.close();

        IndexWriter writer = new IndexWriter(indexDir,new StandardAnalyzer(),true);
        writer.optimize();
        writer.close();
    }

5,把RAMDirectory中的索引合并到FSDirectroy中

public void indexOperator(String indexDir) throws Exception{
        FSDirectory fsDir = FSDirectory.getDirectory(indexDir,true);
        RAMDirectory ramDir = new RAMDirectory();
        IndexWriter fsWriter = new  IndexWriter(fsDir,new SimpleAnalyzer(),true);
        IndexWriter ramWriter = new IndexWriter(ramDir,new SimpleAnalyzer(),true);
        //..ramWriter add doc
        fsWriter.addIndexes(new Directory[]{ramDir});
        ramWriter.close();

    }

6,把索引的内容直接读入内存

RAMDirectory ramDir = new RAMDirectory(indexDir);

dreamstone 2007-06-20 16:43 发表评论

lucene 索引非txt文档 (pdf word rtf html xml)

dreamstone — Thu, 14 Jun 2007 05:27:00 GMT

搜索要首先要索引，索引的话最简单的方式是索引txt文件，上文已经介绍了。这里介绍一下一些其它格式的文档的索引，例如ms word ,pdf ,rtf等。
索引方法：就是先把各种文档先转化成纯文本再索引，所以关键在转换上。幸好java世界中有太多的开源工程，很多都可以拿来直接使用。下边分别介绍一下：
写在所有之前：下边所有介绍中的is参数都是inputStream，就是被索引的文件。
word文档：
把word文档转换成纯文本的开源工程可以使用：POI 或者TextMining
POI的使用方法：

WordDocument wd = new WordDocument(is);
      StringWriter docTextWriter = new StringWriter();
      wd.writeAllText(new PrintWriter(docTextWriter));
      docTextWriter.close();
      bodyText = docTextWriter.toString();

TextMining的使用方法更简单：

bodyText = new WordExtractor().extractText(is);

PDF文档：
转换PDF文档可以使用的类库是PDFbox

COSDocument cosDoc = null;
   PDFParser parser = new PDFParser(is);
    parser.parse();
cosDoc = parser.getDocument()
if (cosDoc.isEncrypted()) {
        DecryptDocument decryptor = new DecryptDocument(cosDoc);
        decryptor.decryptDocument(password);
}
PDFTextStripper stripper = new PDFTextStripper();
String docText = stripper.getText(new PDDocument(cosDoc));

RTF文档：
rtf的转换则在javax中就有

DefaultStyledDocument styledDoc = new DefaultStyledDocument();
new RTFEditorKit().read(is, styledDoc, 0);
String bodyText = styledDoc.getText(0, styledDoc.getLength());

这样就可以索引各种格式的文本了

html和xml的处理方法同样
不同的是html的可用类库是：JTidy
Xml可用的类库是SAX和digester

dreamstone 2007-06-14 13:27 发表评论

apache lucene 的核心类

dreamstone — Tue, 12 Jun 2007 01:52:00 GMT

下边介绍一下lucene的核心类：(参考lucene in action)
主要有两部分组成，核心索引类和核心搜索类，顾名思意，就是用来建立索引和用来搜索的类。

IndexWriter：可以对索引进行写操作，但不能读取或者搜索。是唯一能写索引的类。

Directory：Directory类代表一个Lucene索引的位置。它是一个抽象类，允许它的子类(其中的两个包含在Lucene中)在合适时存储索引。在我们的Indexer示例中，我们使用一个实际文件系统目录的路径传递给IndexWriter的构造函数来获得Directory的一个实例。IndexWriter然后使用Directory的一个具体实现FSDirectory，并在文件系统的一个目录中创建索引。在你的应用程序中，你可能较喜欢将Lucene索引存储在磁盘上。这时可以使用FSDirectory，一个包含文件系统真实文件列表的Driectory子类，如同我们在Indexer中一样。另一个Directory的具体子类是RAMDirectory。尽管它提供了与FSDirectory相同的接口，RAMDirectory将它的所有数据加载到内存中。所以这个实现对较小索引很有用处，可以全部加载到内存中并在程序关闭时销毁。因为所有数据加载到快速存取的内存中而不是在慢速的硬盘上，RAMDirectory适合于你需要快速访问索引的情况，不管是索引或搜索。做为实例，Lucene的开发者在所有他们的单元测试中做了扩展使用：当测试运行时，快速的内存驻留索引被创建搜索，当测试结束时，索引自动销毁，不会在磁盘上留下任何残余。当然，在将文件缓存到内存的操作系统中使用时RAMDirectory和FSDirectory之间的性能差别较小

Analyzer:分析文本内容，提取关键字

Document:一个Document代表字段的集合。你可以把它想象为以后可获取的虚拟文档—一块数据，如一个网页、一个邮件消息或一个文本文件。一个文档的字段代表这个文档或与这个文档相关的元数据

Field:在索引中的每个Document含有一个或多个字段，具体化为Field类。每个字段相应于数据的一个片段，将在搜索时查询或从索引中重新获取。
Lucene提供四个不同的字段类型，你可以从中做出选择：

Keyword—不被分析，但是被索引并逐字存储到索引中。这个类型适合于原始值需要保持原样的字段，如URL、文件系统路径、日期、个人名称、社会安全号码、电话号码等等。例如，我们在Indexer(列表1.1)中把文件系统路径作为Keyword字段。

UnIndexed—不被分析也不被索引，但是它的值存储到索引中。这个类型适合于你需要和搜索结果一起显示的字段(如URL或数据库主键)，但是你从不直接搜索它的值。因为这种类型字段的原始值存储在索引中，这种类型不适合于存放比较巨大的值，如果索引大小是个问题的话。

UnStored—和UnIndexed相反。这个字段类型被分析并索引但是不存储在索引中。它适合于索引大量的文本而不需要以原始形式重新获得它。例如网页的主体或任休其它类型的文本文档。

Text—被分析并索引。这就意味着这种类型的字段可以被搜索，但是要小心字段大小。如果要索引的数据是一个String，它也被存储；但如果数据(如我们的Indexer例子)是来自一个Reader，它就不会被存储。这通常是混乱的来源，所以在使用Field.Text时要注意这个区别。
所有字段由名称和值组成。你要使用哪种字段类型取决于你要如何使用这个字段和它的值。严格来说，Lucene只有一个字段类型：以各自特征来区分的字段。有些是被分析的，有些不是；有些是被索引，然面有些被逐字地存储等等。
注意注意Field.Text(String, String)和Field.Text(String, Reader)之间的区别。String变量存储字段数据，而Reader变量不存储。为索引一个String而又不想存储它，可以用Field.UnStored(String, String)

下边是核心搜索类：
IndexSearcher：IndexSearcher用来搜索而IndexWriter用来索引：暴露几个搜索方法的索引的主要链接。你可以把IndexSearcher想象为以只读方式打开索引的一个类。它提供几个搜索方法，其中一些在抽象基类Searcher中实现；最简单的接受单个Query对象做为参数并返回一个Hits对象。这个方法的典型应用类似这样：

IndexSearcher is = new IndexSearcher(
FSDirectory.getDirectory(“/tmp/index”, false));
Query q = new TermQuery(new Term(“contents”, “lucene”));
Hits hits = is.search(q);

Term:
Term是搜索的基本单元。与Field对象类似，它由一对字符串元素组成：字段的名称和字段的值。注意Term对象也和索引过程有关。但是它们是由Lucene内部生成，所以在索引时你
一般不必考虑它们。在搜索时，你可能创建Term对象并TermQuery同时使用。
Query q = new TermQuery(new Term(“contents”, “lucene”));
Hits hits = is.search(q);
这段代码使Lucene找出在contents字段中含有单词lucene的所有文档。因为TermQuery对象继承自它的抽象父类Query，你可以在等式的左边用Query类型。

Query
Lucene中包含一些Query的具体子类。到目前为止，在本章中我们仅提到过最基本的Lucene Query：TermQuery。其它Query类型有BooleanQuery，PhraseQuery, PrefixQuery, PhrasePrefixQuery, RangeQuery, FilteredQuery和SpanQuery

TermQuery
TermQuery是Lucene支持的最基本的查询类型，并且它也是最原始的查询类型之一。它用来匹配含有指定值的字段的文档.

Hits类是一个搜索结果(匹配给定查询的文档)文档队列指针的简单容器。基于性能考虑，Hits的实例并不从索引中加载所有匹配查询的所有文档，而是每次一小部分

dreamstone 2007-06-12 09:52 发表评论

apache lucene 一个最简单的实例

dreamstone — Tue, 12 Jun 2007 01:46:00 GMT

摘要: 就像每个程序都有一个Hello World来让人体验它一样，lucene也可以很简单的提供一个实例。如下（来自lucene in action的例子）有两个类组成：一个是建立索引 package my;import java.io.File;import java.io.FileReader;import java.io.IOException;impor... 阅读全文

dreamstone 2007-06-12 09:46 发表评论

apache lucene介绍

dreamstone — Mon, 11 Jun 2007 02:42:00 GMT

什么是lucene
Apache Lucene是一个开放源程序的搜寻器引擎，利用它可以轻易地为Java软件加入全文搜寻功能。Lucene的最主要工作是替文件的每一个字作索引，索引让搜寻的效率比传统的逐字比较大大提高，Lucen提供一组解读，过滤，分析文件，编排和使用索引的API，它的强大之处除了高效和简单外，是最重要的是使使用者可以随时应自已需要自订其功能。 Lucene是apache软件基金会项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

Lucene的作者：
Lucene的原作者是Doug Cutting，他是一位资深全文索引/检索专家，曾经是V-Twin搜索引擎的主要开发者，后在Excite担任高级系统架构设计师，目前从事于一些Internet底层架构的研究。

Lucene的历史：
早先发布在作者自己的http://www.lucene.com/，后来发布在SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目。现在则是apache的顶级项目http://lucene.apache.org/

Lucene应用:
apache软件基金会的网站使用了Lucene作为全文检索的引擎
IBM的开源软件eclipse也采用了Lucene作为帮助子系统的全文索引引擎，
相应的IBM的商业软件Web Sphere中也采用了Lucene。
著名的Jive论坛使用了它
Eyebrows（EyeBrows是目前APACHE项目的主要邮件列表归档系统）邮件列表HTML归档/浏览/查询系统
也使用了它
Lucene以其开放源代码的特性、优异的索引结构、良好的系统架构获得了越来越多的应用。
Cocoon:基于XML的web发布框架，全文检索部分使用了Lucene
到现在lucene已经有C++、C#、Python和Perl的版本
更多关于lucene的应用见这里：http://wiki.apache.org/lucene-java/PoweredBy

Lucene能做什么
Lucene使你可以为你的应用程序添加索引和搜索能力(这些功能将在1.3节中描述)。Lucene可以索引并能使得可以转换成文本格式的任何数据能够被搜索。在图1.5可以看出，Lucene并不关心数据的来源、格式甚至它的语言，只要你能将它转换为文本。这就意味着你可经索引并搜索存放于文件中的数据：在远程服务器上的web页面，存于本地文件系统的文档，简单的文本文件，微软Word文档，HTML或PDF文件或任何其它能够提取出文本信息的格式。

同样，利用Lucene你可以索引存放于数据库中的数据，提供给用户很多数据库没有提供的

全文搜索的能力。一旦你集成了Lucene，你的应用程序的用户就能够像这样来搜索：+George +Rice –eat –pudding, Apple –pie +Tiger, animal:monkey AND food:banana等等。利用Lucene，你可以索引和搜索email邮件，邮件列表档案，即时聊天记录，你的Wiki页面……等等更多。

Lucene资料：
Lucene主页：http://lucene.apache.org/

中文的lucene教程： http://www.chedong.com/tech/lucene.html#intro

写的很好的lucene书：lucene in action

luceneAPI：http://lucene.zones.apache.org:8080/hudson/job/Lucene-Nightly/javadoc/

lucene in action 示例代码:http://www.manning.com/hatcher2

lucene 的wiki：http://wiki.apache.org/lucene-java/FrontPage?action=show&redirect=FrontPageEN

Lucene的优点：
（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。
（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。
（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。
（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。
（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询、分组查询等等。

Lucene的周边
Nutch vs Lucene
Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。
Nutch 是一个应用程序，可以以 Lucene 为基础实现搜索引擎应用。

Nutch vs Larbin
"Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供Nutch vs Larbin
"Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供

Nutch 则还可以存储到数据库并建立索引。

搜索的概念(本段来自lucene in action原文)：

索引和搜索

所有搜索引擎的核心就是索引的概念：将原始数据处理成一个高效的交差引用的查找结构以便于快速的搜索。让我们对索引和搜索过程做一次快速的高层次的浏览。

什么是索引，为什么它很重要？

想像一下，你需要搜索大量的文件，并且你想找出包含一个指定的词或短语的文件。你如何编写一个程序来做到这个？一个幼稚的方法是针对给定的词或短语顺序扫描每个文件。这个方法有很多缺点，最明显的就是它不适合于大量的文件或者文件非常巨大的情况。这时就出现了索引：为了快速搜索大量的文本，你必须首先索引那个文本然后把它转化为一个可以让你快速搜索的格式，除去缓慢的顺序地扫描过程。这个转化过程称为索引，它的输出称为一条索引。你可以把索引理解为一个可以让你快速随机访问存于其内部的词的数据结构。它隐含的概念类似于一本书最后的索引，可以让你快速找到讨论指定主题的页面。在Lucene中，一个索引是一个精心设计的数据结构，在文件系统中存储为一组索引文件。我们在附录B中详细地说明了索引文件的结构，但是目前你只须认为Lucene的索引是一个能快速的词汇查找的工具。

什么是搜索？

搜索是在一个索引中查找单词来找出它们所出现的文档的过程。一个搜索的质量用精确度和召回率来描述。召回率衡量搜索系统搜索到相关文档的能力，精确度衡量系统过滤不相关文档的能力。然而，在考虑搜索时你必须考虑其它一些因素。我们已经提到速度和快速搜索大量文本的能力。支持单个和多个词汇的查询，短语查询，通配符，结果分级和排序也是很重要的，在输入这些查询的时候也是友好的语法。Lucene强大的软件库提供了大量的搜索特征、bells和whistles，

dreamstone 2007-06-11 10:42 发表评论