szhswl
宋针还的个人空间
lucene的简单实例<一>


关键字:   lucene    
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...

1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:


代码
中华人民共和国  
全国人民  
2006年 


而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧

2、下载lucene包,放在classpath路径中
建立索引:


代码

 1package lighter.javaeye.com;   
 2  
 3import java.io.BufferedReader;   
 4import java.io.File;   
 5import java.io.FileInputStream;   
 6import java.io.IOException;   
 7import java.io.InputStreamReader;   
 8import java.util.Date;   
 9  
10import org.apache.lucene.analysis.Analyzer;   
11import org.apache.lucene.analysis.standard.StandardAnalyzer;   
12import org.apache.lucene.document.Document;   
13import org.apache.lucene.document.Field;   
14import org.apache.lucene.index.IndexWriter;   
15  
16/**  
17 * author lighter date 2006-8-7  
18 */
  
19public class TextFileIndexer {   
20    public static void main(String[] args) throws Exception {   
21        /* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */  
22        File fileDir = new File("c:\\s");   
23  
24        /* 这里放索引文件的位置 */  
25        File indexDir = new File("c:\\index");   
26        Analyzer luceneAnalyzer = new StandardAnalyzer();   
27        IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,   
28                true);   
29        File[] textFiles = fileDir.listFiles();   
30        long startTime = new Date().getTime();   
31           
32        //增加document到索引去   
33        for (int i = 0; i < textFiles.length; i++{   
34            if (textFiles[i].isFile()   
35                    && textFiles[i].getName().endsWith(".txt")) {   
36                System.out.println("File " + textFiles[i].getCanonicalPath()   
37                        + "正在被索引.");   
38                String temp = FileReaderAll(textFiles[i].getCanonicalPath(),   
39                        "GBK");   
40                System.out.println(temp);   
41                Document document = new Document();   
42                Field FieldPath = new Field("path", textFiles[i].getPath(),   
43                        Field.Store.YES, Field.Index.NO);   
44                Field FieldBody = new Field("body", temp, Field.Store.YES,   
45                        Field.Index.TOKENIZED,   
46                        Field.TermVector.WITH_POSITIONS_OFFSETS);   
47                document.add(FieldPath);   
48                document.add(FieldBody);   
49                indexWriter.addDocument(document);   
50            }
   
51        }
   
52        //optimize()方法是对索引进行优化   
53        indexWriter.optimize();   
54        indexWriter.close();   
55           
56        //测试一下索引的时间   
57        long endTime = new Date().getTime();   
58        System.out   
59                .println("这花费了"  
60                        + (endTime - startTime)   
61                        + " 毫秒来把文档增加到索引里面去!"  
62                        + fileDir.getPath());   
63    }
   
64  
65    public static String FileReaderAll(String FileName, String charset)   
66            throws IOException {   
67        BufferedReader reader = new BufferedReader(new InputStreamReader(   
68                new FileInputStream(FileName), charset));   
69        String line = new String();   
70        String temp = new String();   
71           
72        while ((line = reader.readLine()) != null{   
73            temp += line;   
74        }
   
75        reader.close();   
76        return temp;   
77    }
   
78}
  

 


索引的结果:


代码
File C:\s\1.txt正在被索引....  
中华人民共和国全国人民2006年  
File C:\s\2.txt正在被索引....  
中华人民共和国全国人民2006年  
File C:\s\3.txt正在被索引....  
中华人民共和国全国人民2006年  
这花费了297 毫秒来把文档增加到索引里面去!c:\s 


3、建立了索引之后,查询啦....


代码

 1package lighter.javaeye.com;   
 2  
 3import java.io.IOException;   
 4  
 5import org.apache.lucene.analysis.Analyzer;   
 6import org.apache.lucene.analysis.standard.StandardAnalyzer;   
 7import org.apache.lucene.queryParser.ParseException;   
 8import org.apache.lucene.queryParser.QueryParser;   
 9import org.apache.lucene.search.Hits;   
10import org.apache.lucene.search.IndexSearcher;   
11import org.apache.lucene.search.Query;   
12  
13public class TestQuery {   
14    public static void main(String[] args) throws IOException, ParseException {   
15        Hits hits = null;   
16        String queryString = "中华";   
17        Query query = null;   
18        IndexSearcher searcher = new IndexSearcher("c:\\index");   
19  
20        Analyzer analyzer = new StandardAnalyzer();   
21        try {   
22            QueryParser qp = new QueryParser("body", analyzer);   
23            query = qp.parse(queryString);   
24        }
 catch (ParseException e) {   
25        }
   
26        if (searcher != null{   
27            hits = searcher.search(query);   
28            if (hits.length() > 0{   
29                System.out.println("找到:" + hits.length() + " 个结果!");   
30            }
   
31        }
   
32    }
   
33  
34}

lucene简单实例<二>

Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索
来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西,叫搜索。

IndexWriter:lucene中最重要的的类之一,它主要是用来将文档加入索引,同时控制索引过程中的一些参数使用。

Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

Directory:索引存放的位置;lucene提供了两种索引存放的位置,一种是磁盘,一种是内存。一般情况将索引放在磁盘上;相应地lucene提供了FSDirectory和RAMDirectory两个类。

Document:文档;Document相当于一个要进行索引的单元,任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

Field:字段。

IndexSearcher:是lucene中最基本的检索工具,所有的检索都会用到IndexSearcher工具;

Query:查询,lucene中支持模糊查询,语义查询,短语查询,组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。

QueryParser: 是一个解析用户输入的工具,可以通过扫描用户输入的字符串,生成Query对象。

Hits:在搜索完成之后,需要把搜索结果返回并显示给用户,只有这样才算是完成搜索的目的。在lucene中,搜索的结果的集合是用Hits类的实例来表示的。

上面作了一大堆名词解释,下面就看几个简单的实例吧:
1、简单的的StandardAnalyzer测试例子


代码

 1package lighter.javaeye.com;   
 2  
 3import java.io.IOException;   
 4import java.io.StringReader;   
 5  
 6import org.apache.lucene.analysis.Analyzer;   
 7import org.apache.lucene.analysis.Token;   
 8import org.apache.lucene.analysis.TokenStream;   
 9import org.apache.lucene.analysis.standard.StandardAnalyzer;   
10  
11public class StandardAnalyzerTest    
12{   
13    //构造函数,   
14    public StandardAnalyzerTest()   
15    {   
16    }
   
17    public static void main(String[] args)    
18    {   
19        //生成一个StandardAnalyzer对象   
20        Analyzer aAnalyzer = new StandardAnalyzer();   
21        //测试字符串   
22        StringReader sr = new StringReader("lighter javaeye com is the are on");   
23        //生成TokenStream对象   
24        TokenStream ts = aAnalyzer.tokenStream("name", sr);    
25        try {   
26            int i=0;   
27            Token t = ts.next();   
28            while(t!=null)   
29            {   
30                //辅助输出时显示行号   
31                i++;   
32                //输出处理后的字符   
33                System.out.println(""+i+"行:"+t.termText());   
34                //取得下一个字符   
35                t=ts.next();   
36            }
   
37        }
 catch (IOException e) {   
38            e.printStackTrace();   
39        }
   
40    }
   
41}
   
42


显示结果:

引用
第1行:lighter
第2行:javaeye
第3行:com

提示一下:
StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能:
1、对原有句子按照空格进行了分词
2、所有的大写字母都可以能转换为小写的字母
3、可以去掉一些没有用处的单词,例如"is","the","are"等单词,也删除了所有的标点
查看一下结果与"new StringReader("lighter javaeye com is the are on")"作一个比较就清楚明了。
这里不对其API进行解释了,具体见lucene的官方文档。需要注意一点,这里的代码使用的是lucene2的API,与1.43版有一些明显的差别。

2、看另一个实例,简单地建立索引,进行搜索


代码

 

 1package lighter.javaeye.com;   
 2import org.apache.lucene.analysis.standard.StandardAnalyzer;   
 3import org.apache.lucene.document.Document;   
 4import org.apache.lucene.document.Field;   
 5import org.apache.lucene.index.IndexWriter;   
 6import org.apache.lucene.queryParser.QueryParser;   
 7import org.apache.lucene.search.Hits;   
 8import org.apache.lucene.search.IndexSearcher;   
 9import org.apache.lucene.search.Query;   
10import org.apache.lucene.store.FSDirectory;   
11  
12public class FSDirectoryTest {   
13  
14    //建立索引的路径   
15    public static final String path = "c:\\index2";   
16  
17    public static void main(String[] args) throws Exception {   
18        Document doc1 = new Document();   
19        doc1.add( new Field("name""lighter javaeye com",Field.Store.YES,Field.Index.TOKENIZED));   
20  
21        Document doc2 = new Document();   
22        doc2.add(new Field("name""lighter blog",Field.Store.YES,Field.Index.TOKENIZED));   
23  
24        IndexWriter writer = new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true);   
25        writer.setMaxFieldLength(3);   
26        writer.addDocument(doc1);   
27        writer.setMaxFieldLength(3);   
28        writer.addDocument(doc2);   
29        writer.close();   
30  
31        IndexSearcher searcher = new IndexSearcher(path);   
32        Hits hits = null;   
33        Query query = null;   
34        QueryParser qp = new QueryParser("name",new StandardAnalyzer());   
35           
36        query = qp.parse("lighter");   
37        hits = searcher.search(query);   
38        System.out.println("查找\"lighter\" 共" + hits.length() + "个结果");   
39  
40        query = qp.parse("javaeye");   
41        hits = searcher.search(query);   
42        System.out.println("查找\"javaeye\" 共" + hits.length() + "个结果");   
43  
44    }
   
45  
46}
  
47


运行结果:

代码
查找"lighter" 共2个结果  
查找"javaeye" 共1个结果 

本转自:http://tb.blog.csdn.net/TrackBack.aspx?PostId=1797992



---------------------------------------------------------------------------------------------------------------------------------
说人之短,乃护己之短。夸己之长,乃忌人之长。皆由存心不厚,识量太狭耳。能去此弊,可以进德,可以远怨。
http://www.blogjava.net/szhswl
------------------------------------------------------------------------------------------------------ ----------------- ---------
posted on 2007-12-05 17:04 宋针还 阅读(1188) 评论(0)  编辑  收藏 所属分类: 搜索引擎

只有注册用户登录后才能发表评论。


网站导航: