BlogJava-马可波罗的梦乡-文章分类-Lucene

Lucene代码

梦回唐朝 — Wed, 23 Sep 2009 18:06:00 GMT

1、分析器，所有分析器继承自抽象类Analyzer。Lucene本身已经提供了一套的分析器，可以处理各种语言。但都是最基本的方法，如果想使用更复杂的方法(如一些基于统计和机器学习的方法)，可以对这个地方进行扩展的。

梦回唐朝 2009-09-24 02:06 发表评论

搜索引擎

梦回唐朝 — Wed, 16 Sep 2009 20:05:00 GMT

所有SE的核心都是倒排索引。不同之处在于他们额外添加的，用于改善倒排索引结构的技术。
这些技术被作为商业机密而严格地保护起来了。

梦回唐朝 2009-09-17 04:05 发表评论

Lucene分词

梦回唐朝 — Wed, 16 Sep 2009 14:05:00 GMT

第一个分词问题，居然是在FTP返回字符串的解析之上，暂时还没有想到解决的办法。

如 /hello/this is directory/IT 类
IT 类 /civilservant/_Incoming_/公务员/专业课/ 这行记录也已经搜到，所以下面的文档搜不到，问题可能出在爬虫上，下面的文档url没有放到原始数据中? // 看了一下原始数据，果然没有包含此url，问题是出在哪里呢?

但是在测试例子中这样做是可以的啊。。。

梦回唐朝 2009-09-16 22:05 发表评论

Lucene索引

梦回唐朝 — Tue, 15 Sep 2009 05:40:00 GMT

1、每个Document可以有多个Field，每个Field可以设置是否存储，和索引方式。
2、2.x的版本API和1.4的接口发生了一些变化。是一些软件演化的过程?
3、可以设置更复杂的查询条件。 // 布尔查询的API调用

FSDirectory打开用于搜索的索引。
为了有效地应用Lucene，我们需要深入地了解它的工作方式以及在需要的时候如何去扩展它。

Field是Document的元数据，根据配置的特性不同，有的会被索引，另外的不会被索引。
可以通过设置属性，把Field的内存存到索引文件中。

梦回唐朝 2009-09-15 13:40 发表评论

Lucene优缺点

梦回唐朝 — Mon, 14 Sep 2009 19:38:00 GMT

优点：
1、易用性，只需掌握少数几个类。简单的API隐藏了索引建立和搜索实现的复杂过程。

梦回唐朝 2009-09-15 03:38 发表评论

Lucene概念

梦回唐朝 — Mon, 14 Sep 2009 04:01:00 GMT

1、分块索引。为新增文件单独创建索引，再合并。 (索引优化技术)
2、只要扩展相应接口，就可以支持新的语言和文件格式。
3、对每个Lucene例子进行Junit测试，这是一项有意思的测试。把精力集中到比较小的细节中去，并且可以毫无后顾之忧的修改系统中的部分代码。
4、可以通过Lucene官方的PowerBy找到其他一些以Lucene为基础的开源软件。
5、Lucene是Doug妻子的中间名：这也是她祖母的姓。

Lucene能够对任意可转换为文本格式的数据进行索引和搜索。

整个Lucene的核心，就是索引两个字。
Directory用于指定索引所在的位置，Query对应于多种实现。

技术：
1、Lucene的一个方便之处在于，它允许用于不同Field的Document在一个索引中共存。
2、一个Document可以有多个Field，而多个Field可以对应于同一个域，如"contents"、"title"。
3、没有设置Index的Field是不能设置norm的，Field、Indexed、Norm三者之间的关系是什么?

索引：
1、索引是Lucene最核心的东西。最简单的索引大致如下：以term为entry，命中该term的所有doc是一个列表。这个列表可以是排序的。Lucene的实际索引实现是否也是这样的。以前在一个IR的ppt中看到，一般的SE索引都是这个结构的，Lucene索引有什么特别之处吗?这个可以深入了解下的。
2、使用Luke时的一个发现。在Document标签，可以通过Term遍历包含该Term的Document列表。点击show all，这会跳转到Search标签。也可以点击Show Position显示文档的位置信息。这里的term frequency是指 term在文档中的出现次数。 Lucene中Term对应Document真的是组织成一个列表吗?或者做过一些优化?
3、

关键技术：
1、列举一些重要的类，也是深入了解Lucene的入口：
Analyzer分词器，将文档(索引时)和查询字符(查询时)进行分词
Query 查询条件，可以包含多个Term，进行布尔查询，区间查询等。BooleanQuery本身是布尔查询子句的容器。
Term 分词项，对应于索引中的入口?
Directory 指向索引目录，可以使FS或RAM等，还可以自己做一些实现，哈哈
Similarity 用于对词进行评分。这个地方有很多工作可以做的。
查询表达式，通过QueryParser可以将表达式转换为特定的Query对象。比直接调用API要清晰。NOT操作必须和一个其他操作结合，才能用于查询。

梦回唐朝 2009-09-14 12:01 发表评论