BlogJava-学习笔迹-随笔分类-mmseg4jhttp://www.blogjava.net/chenlb/category/39247.html好记性不如烂笔头! <div style="position:relative;width:468px;left:160px;top:40px;"> <div style="position:absolute;width:468px;bottom:0px;"></div> </div> <div></div>zh-cnTue, 20 Oct 2009 03:05:01 GMTTue, 20 Oct 2009 03:05:01 GMT60中文分词 mmseg4j-1.8 版发布http://www.blogjava.net/chenlb/archive/2009/10/19/298800.html流浪汗流浪汗Mon, 19 Oct 2009 01:28:00 GMThttp://www.blogjava.net/chenlb/archive/2009/10/19/298800.htmlhttp://www.blogjava.net/chenlb/comments/298800.htmlhttp://www.blogjava.net/chenlb/archive/2009/10/19/298800.html#Feedback1http://www.blogjava.net/chenlb/comments/commentRss/298800.htmlhttp://www.blogjava.net/chenlb/services/trackbacks/298800.html想发布新版的 mmseg4j 到现在已经有二个多月了。主要是因为这段时间忙其它事情了。现 Lucene 2.9 发布了，solr 1.4 也应该会比较快就要发布了。对 mmseg4j 兼容新版的 lucene/solr 也是个任务。

现 mmseg4j 发布新版 1.8，可以下载：mmseg4j-1.8.zip 包括了源码与词库，还有创建文件。下面说下此版的主要变更：

new:

1、有检测词典变更的接口，外部程序可以使用 wordsFileIsChange() 和 reload() 来完成检测与加载的工作. (内部不实现自动检测与加载，留给外部程序去做。)

2、添加 MMseg4jHandler 类，可以在solr中用url的方式来控制加载检测词库。

3、增加 CutLetterDigitFilter过虑器，切分“字母和数”混在一起的过虑器。比如：mb991ch 切为 "mb 991 ch"。

changes:

1、默认在 classpath 中加载 data 目录（词库目录），找不到再找 user.dir/data 目录。但是优先 mmseg.dic.path 系统属性指定的。

2、新词库，去除 sogou 高频无词性的词，合并 rmmseg 提供的词（是 mmseg4j 1.0 使用的词库），共计（14W 多词）。

3、数字或英文开头的数字或英文不独立分出。如 MB991CH/A 分为 mb991ch a，cq40-519tx 分为 CQ40 519TX

4、内置支持小写，不需要 LowerCaseFilter 了。MMSegAnalyzer 去除了小写过虑。

5、支持 solr 1.3/1.4、lucene 2.3/2.4/2.9

6、尝试加载 jar 里的 words.dic，并构建含有 words.dic 的 jar(mmseg4j-*-with-dic.jar)。

bugs:

1、Dictionary 添加 finalize 方法。修正 tomcat reload 时 OOM 的 bug: http://code.google.com/p/mmseg4j/issues/detail?id=4

2、MMSegTokenizer 在 lucene 2.4 编译的 在 lucene 2.9 中会报 java.lang.NoSuchFieldError: input。bug: http://code.google.com/p/mmseg4j/issues/detail?id=5

详情：http://blog.chenlb.com/2009/10/chinese-segment-mmseg4j-1_8-release.html



流浪汗 2009-10-19 09:28 发表评论
]]>中文分词 mmseg4j 1.7.2 版发布http://www.blogjava.net/chenlb/archive/2009/04/27/267767.html流浪汗流浪汗Mon, 27 Apr 2009 12:00:00 GMThttp://www.blogjava.net/chenlb/archive/2009/04/27/267767.htmlhttp://www.blogjava.net/chenlb/comments/267767.htmlhttp://www.blogjava.net/chenlb/archive/2009/04/27/267767.html#Feedback0http://www.blogjava.net/chenlb/comments/commentRss/267767.htmlhttp://www.blogjava.net/chenlb/services/trackbacks/267767.html
  • 修复由 1.7-beta 升级到 1.7 版的 bug：添加 lowerCaseFilter 后的一个 bug: NullPointerException。
  • 核发程序与 lucene 和 solr 扩展分开打包, 同时给出低版本的 lucene 扩展(lucene 1.9 到 2.2; lucene 2.3)
    • 如何从源码编译：下载源码：mmseg4j-1.7.2-src 或 mmseg4j-1.6.2-src。解压到如：e:/mmseg4j-1.7.2-src。然后到这个目录，运行：

     

    或


    上面编译是在 solr 1.3 和 lucene 2.4 环境下的。如果您要在 低版本的 lucene 中使用，到 e:/mmseg4j-1.7.2-src/contrib/lucene_1_9 或 e:/mmseg4j-1.7.2-src/contrib/lucene_2_3 运行：

     

    说明：到 contrib 下的子项目中编译的话，先要编译 mmseg4j，contrib/lucene_1_9 可以支持到 2.2。

    如果有任何疑问、建议，欢迎到论坛 http://groups.google.com/group/mmseg4j/topics?hl=zh_CN 讨论。或与我联系 chenlb2008#gmail.com。

    还要感谢网友“苦涩可乐”提示 NullPointerException 的bug。

    官方博客：mmseg4j，项目：google code mmseg4j

    流浪汗 2009-04-27 20:00 发表评论
    ]]>