【转】java实现Google和Baidu的“您是不是要找”功能

小胡子 — Wed, 16 Jan 2013 09:39:00 GMT

背景：

　　在使用搜索引擎和电商的搜索功能时，大家一定遇到过这样的情景：我想搜索电影“十二生肖”，可不小心输成“十二生效”了，不用担心搜不到你想要的结果，因为建立在大数据上的搜索引擎会帮你自动纠错，就这个例子Google和Baidu返回给我的分别是：

显示以下查询字词的结果：十二生肖和您要找的是不是: 十二生肖 ，他们都做到了自动纠错，关于自动纠错我之前也写过一篇陋文，当时是自己实现的N-Gram模型,但是效果不是太好，主要是针对不同的语料库算法的精确度是不一样的，我想换个算法试试看，目前主流的计算串间的距离(相反的，你也可以理解为相似度)是Levenshtein，当要实现时，发现lucene已经做了这个事，那咱就站在巨人的肩膀上成长吧。

引用包：

　　lucene-core-3.1.0.jar + lucene-spellchecker-3.1.0.jar,你可以在这里得到

使用示例：

　　在类SpellCorrector的main方法中加入以下代码

1 //创建目录
2  File dict = new File("");
3  Directory directory = FSDirectory.open(dict);
4
5  //实例化拼写检查器
6  SpellChecker sp = new SpellChecker(directory);
7
8
9  //创建词典
10  File dictionary = new File(SpellCorrecter.class.getResource("dictionary.txt").getFile());
11
12  //对词典进行索引
13  sp.indexDictionary(new PlainTextDictionary(dictionary));
14
15
16  //有错别字的搜索
17  String search = "非常勿扰";
18
19
20  //建议个数，这里我只想要最接近的那一个，你可以设置成别的数字，如3
21  int suggestionNumber = 1;
22
23
24  //获取建议的关键字
25  String[] suggestions = sp.suggestSimilar(search, suggestionNumber);
26
27
28  //显示结果
29  System.out.println("搜索:" + search);
30
31
32  for (String word : suggestions) {
33      System.out.println("你要找的是不是:" + word);
34  }

注：这之前你需要有个语料库，我这里是个存放正确视频名称的文件，格式如下：

红颜血泪
冰上火一般的激情
在敌之手
驰风竞艇王第二部
钓金龟
潇湘路一号
戏里戏外第二季
草原狼爵士乐
拯救大兵瑞恩

好了，接下来就直接运行吧，例如我搜索“十二生效”，则提示说是不是要找“十二生肖”

参考文献

原文出自：

http://www.cnblogs.com/wuren/archive/2013/01/16/2862873.html

小胡子 2013-01-16 17:39 发表评论

【转】Heritrix 绑定IP、启动参数、中文乱码

小胡子 — Fri, 21 Dec 2012 04:34:00 GMT

Heritrix资源

网络上的Heritrix中文资源比较少，整理一下：

中文：

l 《开发自己的搜索引擎 Lucene 2.0 + Heritrix》作者邱哲&符滔滔的BLOG

http://lucenebook.spaces.live.com/

l 《开发自己的搜索引擎 Lucene 2.0 + Heriterx》第十章扩展Heritrix试读章节

(可以考虑开发的，比较有用)

http://book.csdn.net/bookfiles/312/10031212848.shtml

l Heritrix笔记

http://wiki.hoodong.com/wiki/jRwNBCFgWA1dYB0NC

l Heritrix crawler vs Nutch crawler

http://www.dbanotes.net/web/heritrix_crawler_vs_nutch_crawler.html

l 天下维客-爬虫程序

http://www.allwiki.com/wiki/Heritrix#Heritrix.E7.9A.84.E5.B1.80.E9.99.90

英文：

l Heritrix主页

http://crawler.archive.org/

l HTMLParser主页

http://htmlparser.sourceforge.net/

Heritrix绑定主机IP

关键字：Heritrix 127.0.0.1 IP 主机

Heritrix默认绑定的IP是127.0.0.1。

在org.archive.crawler.Heritrix中

…

final private static Collection LOCALHOST_ONLY =

Collections.unmodifiableList(Arrays.asList(new String[] { "127.0.0.1" }));

…

private static Collection guiHosts = LOCALHOST_ONLY;

protected static String doCmdLineArgs(final String [] args)

throws Exception {

…

// Now look at options passed.

for (int i = 0; i < options.length; i++) {

switch(options[i].getId()) {

…

case 'b':

Heritrix.guiHosts = parseHosts(options[i].getValue());

break;

…

default:

assert false: options[i].getId();

}

…

}

首先定义了默认IP：127.0.0.1，然后赋给guiHost主机变量。当指定-b或--bind参数时，才会把指定的IP赋给主机变量。

另外，中间还有一步参数处理，对于--xxxx参数会转为-x的形式统一处理，所以--bind和-b有一样的效果。

Heritrix启动参数

关键字：Heritrix 启动参数 bind admin properties

Heritrix的启动参数，除了--bind外，都可以在heritrix.properties设置，而不用每次都在命令行中输入。

如常用的--port, --admin等。

heritrix.cmdline.admin = admin:admin

heritrix.cmdline.port = 8080

heritrix.cmdline.run = false

heritrix.cmdline.nowui = false

heritrix.cmdline.order =

heritrix.cmdline.jmxserver = false

heritrix.cmdline.jmxserver.port = 8081

关于Heritrix的Extractor中文乱码

关键字：Heritrix 中文乱码 GB2312 Extractor

继承从org.archive.crawler.extractor.Extractor的子类，在extract方法中可以从参数CrawlURI中取出要解析的内容。

curi.getHttpRecorder().getReplayCharSequence.toString()

有中文时，不做处理会输出乱码。可以在取到的HttpRecorder后设置编码：

HttpRecorder hr = curi.getHttpRecorder();

if ( hr == null ) {

throw new IOException( "Why is recorder null here?" );

}

hr.setCharacterEncoding( "gb2312" );

cs = hr.getReplayCharSequence();

System.out.println( cs.toString() );