目前开始考虑这个问题, 目标是使用ferret, ferret是lucene搜索引擎的ruby版本, 凭借一点lucene的经验, 我个人是非常喜欢ferret的, 靠lucene强大的分词,index,search功能, 可以做出很多有趣的功能, 但是ferret有两个难点

1. 不支持中文分词,而且集成第三方分词对我来说较困难(没有开发c的经验,而且我知道的中文分词算法都是java版本)
2. 有时候做索引会出错,好象是段地址错误, 因为ferret是在前台index, 所以错误也是在前台fastcig进程中, 感觉很不爽

原来的想法

利用ferret 和lucene兼容的特点, 单独写一个java 类库, 定时对资源做索引,不过后来为了效率(index比lucene快), 新版本的ferret放弃了和lucene兼容, 这个想法是不可行了

更新后的想法

利用mysql中文分词插件,这个东西倒是很好,但是偏偏只支持mysql4.0,和mysql 5.1 beta, 刚好不支持我目前用的mysql5.0.x 由于没有现成版本可以用, 也只好放弃(这个插件只能用来全文搜索, 不像ferret还有其他好玩的功能)

目前的想法:

1. 在ferret中通过rjb调用 lucene的中文分词然后再index
2. 需要index的model都增加一个属性indexed,新建或者更新的时候都把indexed设置为false
3. 把java写好的中外分词通过rjb包装为一个drb service,或者干脆挂在resin上做http页面调用
4. 在后台,单独的程序定时启动把所有未index的记录select出来(indexed=false), 然后逐一调用第二步开发的进行分词,即是过程中出错, 也不影响前台页面, 这里只改动ferret的ruby代码.
5. 如果可能, 搜索程序通过远程协议来对keyword分词,然后再搜索

缺点

1. 这个方案看上去比较恶心.很像一件到处是补丁的衣服, 目前没有时间慢慢去研究ferret中的c代码. 只好通过java来绕圈子

2. 在后台运行index的话, 就无法实时搜索当前文章, 而是有一个延时, 不过我觉得这个好解决. 另外后台index 就算出错了也不影响前台页面, 大不了有些记录搜索不到而已

3. 对keyword分词会有速度影响, 不过影响应该很小

rio : Ruby I/O Comfort Class

rio就是一个ruby内置io类的包装, 主要的作用范围就是操作文件, 抓网页, 压缩解压, 处理CSV等等IO操作, 现在的版本是0.3.7, rio使用起来及其简单
例子如下

拷贝或者增加内容到字符串对象中

 rio('afile') > astring      # copy
 rio('afile') >> astring     # append

拷贝或者增加内容到文件中 

 rio('afile') < astring      # copy
 rio('afile') << astring     # append

他的官方站点里面有详细的示例, 如果是经常要在linux上维护文件的朋友请不要错过.

commandline:命令行增强

commandline是一个简化命令行界面的库,他直接替代内置的optparser来解析用户使用的参数,同时还能自动打印出标准的usage/version/help提示信息,还提供Unix, Gnu, X Toolkit三种风格支持
使用commanline很简单,继承他的CommandLine::Application即可
例子如下

class App < CommandLine::Application

    def initialize
      version           "0.0.1"
      author            "Author Name"
      copyright         "2005, Jim Freeze"
      synopsis          "[-dhV] param_file out_file"
      short_description "A simple app example that takes two arguments."
      long_description  "app5 is a simple application example that supports "+
                        "three options and two commandline arguments."

      option :version
      option :debug
      option :help

      expected_args   :param_file, :out_file
    end

    def main
      puts "main called"
      puts "@param_file = #{@param_file}"
      puts "@out_file   = #{@out_file}"
    end
  end

通过执行ruby xxx.rb -h指令就可以立刻看到标准的help被打印出来

  NAME

      xxx.rb - A simple app example that takes two arguments.

  DESCRIPTION

      xxx.rb is a simple application example that supports three options
      and two commandline arguments.

  OPTIONS

      --version,-V
          Displays application version.

      --debug,-d
          Sets debug to true.

      --help,-h
          Displays help page.

  AUTHOR:  Author Name
  Copyright (c) 2005, Jim Freeze

fastercsv:更快更简单的csv库

顾名思义, 就是更快csv处理库, 偶看maillist上看到的评测是要快10倍(内置的实在太慢了,以至于fastercsv快它10倍还是比python版本的慢), 同时使用起来也比内置csv简单, 一看就会(除非你根本不知道csv是什么)
比如读取一个csv文件

  FasterCSV.foreach("path/to/file.csv") do |row|
    puts row[0]
    puts row[2]
  end

使用header支持读取cvs文件

  FasterCSV.foreach("path/to/file.csv",:headers=>true) do |row|
    #第一行是header,会自动忽略
    puts row['fielda']
    puts row['fieldc']
  end

需要提醒的是它使用require 'faster_csv',类名却是FasterCSV,不是很符合ruby的命名规则

想感受一下ruby却又不想费事的安装它?

没有关系, 现在有了Try Ruby站点, 只要你有浏览器你就可以立刻使用ruby了,Try Ruby提供了一个类似ruby的irb那样的交互环境, 还提供了一个简短的ruby教程.




怎么样? 还不马上去试试看
----------------------------------------------------------
ps: ruby-cn 上的cid73 告诉我, 这里还有一个一次性运行整段代码的的ruby解释网页
虽然比上面的简陋一点,不过也还不错啦

require 'iconv'
conv = Iconv.new("GBK", "ISO-8859-1")
result = conv.iconv("hello")
result << conv.iconv(nil)
conv.close

需要注意的是转换以后还需要调用一下iconv(nil)来刷新未输出的数据 , 最后记得关闭conv

以上方式可以用block来简化

当然,还有一种更简单的方式

Iconv.conv(toendocing, fromencoding, str)

最后还要提醒一下, iconv接受编码是toencoding在前, fromencoding在后, 不要记错了.偶就是因为这个问题被郁闷了半天


题外话:  ruby中很多功能都依赖于各种库, 比如这个iconv, 真是胶水语言的典型范例.

--------------------------------------------------------------------
补充:  windows下面iconv 的安装

到这里下载iconv安装包,  按照如下方式放置包中的文件就OK了

iconv.so ->    ruby\lib\ruby\1.8\i386-mswin32\
iconv.dll ->   windows\system32\
charset.dll -> windows\system32\

更详细的说明见安装包中的README

但是为什么在我的windows上面或者在rubyonrails程序中的就可以这样require了呢,经过一番google再加上自己多次试验，终于发现了其中的缘故

原来windowsXP下面有一个环境变量 RUBYOPT='rubygems' 而linux下面没有， 在linux下面加上RUBYOPT以后，发现可以工作, 进一步发现只要在require其他类以前先require 'rubygems' 程序也能自动识别gem包内的库， 看来，rubygems 对require函数作了手脚， 总结如下

RUBYOPT中'rubygems' 实际上引用的是 ubygems.rb这个文件,在ubygems.rb中再require 'rubygems' 相当于作了一个alias

在rubygems.rb中, 对Kernel模块作了如下调整
1增加了require_gem的指令,这个指令支持按照指定版本号require
2在文件末尾, require了 'custom_require'

在custom_require.rb中, 对require函数作了修改,代码如下

在上面的代码中, require函数被更新, 当不能从RUBY内部的loadpath中读取文件时, require会从gempath中查找, 这样require函数就能支持gem了

结论: 要使用gem中的包, 3个办法
1 使用RUBYOPT='rubygems'
2 先require 'rubygems' 或者 'ubygems'
3 使用require_gem

IntelliJ在以下这些方面的功能可以说是 超常的：智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等。拥有业界领先的特性，IntelliJ减轻了开发人员常规性的任务（编码方面琐碎的事情），极大地推动了他们的产品开发

我试用了一下，和4.5的版本相比，我感觉出来的5.0新增加的特性有

• 对web开发做了很大的支持，开始支持了CSS，javascript，html和xhtml，jsp页面终于可以自动格式化以及优化导入了。美中不足就是自动格式化后的jsp页面似乎没有好看多少。
• 增加了一个欢迎界面，有点模仿visualstudio，没有什么用处
• 界面更好看了，集成了Alloy的皮肤，不过我一向觉得Alloy的皮肤耗资源。
• 以前的各项特性（代码分析，自动完成等）都增强了不少
• 和4.5比速度似乎快了一些，不过我觉得可能是心理作用
• 据说还支持了j2me,不过我没有用过

各位使用java写程序员的一定要试试这个IDE，非常好用。他的中文介绍在这里，官方网站在这里，下载在这里

如果你在使用cvs维护你的代码，那么你可以采用cvs的关键字替换功能来帮助维护这些信息，因为他们都是动态更新的，所以维护起来非常方便， 比如$Revision$表示在cvs上的版本号，实际上这个版本号也可以当作我们文件的版本号，我们需要作的只是写下如下的关键字标记

cvs提交以后，文件会自动更新为

非常方便，这些关键字可以放在java代码的注释里面， 同时要避免java代码中有这样的变量,否则他们也将被替换,导致意想不到的效果，下面是这些关键字列表

以上这些都是比较有用的关键字，当然还有更多的.可以在这里查看他们，同时如果你想要关闭这项关键字替换功能的话，请参考这里

取名为fontconfig.RedHat.properties 中间的名字是操作系统名，如Redhat系统的就保存为fontconfig.RedHat.properties，WindowsXP的就保存为fontconfig.XP.properties，以此类推。

重新启动java， 搞定

教训

1. 不要轻易使用不熟悉的第三方库
2. 遇到问题，不要专牛角尖，适当的时候放一放
3. google不好用的时候不要调试第三方库