utf8和unicode的关系

utf其实是(Unicode Translation Format), 也就是unicode在传输时候的编码, 有utf8和utf16等多种编码, 其实uf8是一个对中文字很不友好的编码, 为什么呢,因为在utf8中, 一个中文是占用3个字节,而一个英文ascii字符却只占用1个字节, 这样一方面使得中文体积膨胀较厉害, 另外一方面也不能简单的通过计算字节数来推算字符数. utf16就比较正常, 每个字符占用两个字节.但是目前utf16已经后面的utf32应用较少, utf8 是比较公认的编码

utf8 还是 gb2312/gbk

我个人选择utf8,因为我觉得gb2312/gbk不是通用编码,如果使用可能还会有其他问题(比如多语言支持)

转换编码

我们需要require 'iconv' 库, 然后执行

Iconv.conv("utf8","GBK","....") #把字符由GBK转换为UTF8

当源字符集中含有非法编码的时候,我们需要告诉iconv忽略, 否则iconv会报错停止

Iconv.conv("utf8//IGNORE","GBK//IGNORE","....")

utf8 的中文操作:

计算字符数:

在默认的ruby环境下面, 需要执行

require 'jcode'

$KCODE='u' # 或者$KCODE='UTF8' 两者是等价的

计算字符数:

使用jsize或者jlength

"你好".size # 6

"你好".jsize # 2

截取字符操作

"你好"[0,1] #乱码

"你好".scan(/./)[0,1].join # "你"

当然还有另外一个办法:

利用utf16编码每个字都是2个字节(头还有两个字节)的特点,我们可以先把字符转换为utf16,然后按照[0,n*2+2]的方法截取前n个字符 (试验成功.求证中)

Iconv.conv("UTF8","UTF16",Iconv.conv("UTF16","UTF8","你好a中b文")[0,8]) #你好a

目前开始考虑这个问题, 目标是使用ferret, ferret是lucene搜索引擎的ruby版本, 凭借一点lucene的经验, 我个人是非常喜欢ferret的, 靠lucene强大的分词,index,search功能, 可以做出很多有趣的功能, 但是ferret有两个难点

1. 不支持中文分词,而且集成第三方分词对我来说较困难(没有开发c的经验,而且我知道的中文分词算法都是java版本)
2. 有时候做索引会出错,好象是段地址错误, 因为ferret是在前台index, 所以错误也是在前台fastcig进程中, 感觉很不爽

原来的想法

利用ferret 和lucene兼容的特点, 单独写一个java 类库, 定时对资源做索引,不过后来为了效率(index比lucene快), 新版本的ferret放弃了和lucene兼容, 这个想法是不可行了

更新后的想法

利用mysql中文分词插件,这个东西倒是很好,但是偏偏只支持mysql4.0,和mysql 5.1 beta, 刚好不支持我目前用的mysql5.0.x 由于没有现成版本可以用, 也只好放弃(这个插件只能用来全文搜索, 不像ferret还有其他好玩的功能)

目前的想法:

1. 在ferret中通过rjb调用 lucene的中文分词然后再index
2. 需要index的model都增加一个属性indexed,新建或者更新的时候都把indexed设置为false
3. 把java写好的中外分词通过rjb包装为一个drb service,或者干脆挂在resin上做http页面调用
4. 在后台,单独的程序定时启动把所有未index的记录select出来(indexed=false), 然后逐一调用第二步开发的进行分词,即是过程中出错, 也不影响前台页面, 这里只改动ferret的ruby代码.
5. 如果可能, 搜索程序通过远程协议来对keyword分词,然后再搜索

缺点

1. 这个方案看上去比较恶心.很像一件到处是补丁的衣服, 目前没有时间慢慢去研究ferret中的c代码. 只好通过java来绕圈子

2. 在后台运行index的话, 就无法实时搜索当前文章, 而是有一个延时, 不过我觉得这个好解决. 另外后台index 就算出错了也不影响前台页面, 大不了有些记录搜索不到而已

3. 对keyword分词会有速度影响, 不过影响应该很小

undefined method `use_transactional_fixtures='

真是非常莫名奇妙, 尝试检查mysql, 检查表类型都没有问题(innodb), 又进一步检查, 发现我的testcase实际上没有被注入rails的扩展, 全部变成了最普通的testcase, 真是郁闷! 当晚上google查了半天, 也没有解决

第二天上线咨询了cookoo 以后, 再度测试了一番, 发现新建立的rails project没有这个问题, 于是怀疑到安装的plugin有问题, 又把plugin全部删除, 问题依旧...(中间省略若干) ... 终于发现,原来是ZenTest 这个gem包导致, 尝试把ZenTest/test/test_help.rb 这个文件移走, 问题解决

接下来分析原因 , 发现我的project用到了cached_model , cached_model 会引入ZenTest, ZenTest中的test_help.rb和rails中的test_help.rb 重名, 由于cached_model 会先载入, 所以ZenTest把后者的test_help覆盖掉, 直接导致rails的环境无法加载

ZenTest(test_help.rb) Rails(test_help.rb) 两者无法共存,所以移走前者就好了

最后更新2006-12-4

The ruby way 更新到第二版

Agile web development with rails 更新到第二版

增加 Enterprise Integration with Ruby

• 新特性的详细介绍
• 其他部分的改进的介绍

rio : Ruby I/O Comfort Class

rio就是一个ruby内置io类的包装, 主要的作用范围就是操作文件, 抓网页, 压缩解压, 处理CSV等等IO操作, 现在的版本是0.3.7, rio使用起来及其简单
例子如下

拷贝或者增加内容到字符串对象中

 rio('afile') > astring      # copy
 rio('afile') >> astring     # append

拷贝或者增加内容到文件中 

 rio('afile') < astring      # copy
 rio('afile') << astring     # append

他的官方站点里面有详细的示例, 如果是经常要在linux上维护文件的朋友请不要错过.

commandline:命令行增强

commandline是一个简化命令行界面的库,他直接替代内置的optparser来解析用户使用的参数,同时还能自动打印出标准的usage/version/help提示信息,还提供Unix, Gnu, X Toolkit三种风格支持
使用commanline很简单,继承他的CommandLine::Application即可
例子如下

class App < CommandLine::Application

    def initialize
      version           "0.0.1"
      author            "Author Name"
      copyright         "2005, Jim Freeze"
      synopsis          "[-dhV] param_file out_file"
      short_description "A simple app example that takes two arguments."
      long_description  "app5 is a simple application example that supports "+
                        "three options and two commandline arguments."

      option :version
      option :debug
      option :help

      expected_args   :param_file, :out_file
    end

    def main
      puts "main called"
      puts "@param_file = #{@param_file}"
      puts "@out_file   = #{@out_file}"
    end
  end

通过执行ruby xxx.rb -h指令就可以立刻看到标准的help被打印出来

  NAME

      xxx.rb - A simple app example that takes two arguments.

  DESCRIPTION

      xxx.rb is a simple application example that supports three options
      and two commandline arguments.

  OPTIONS

      --version,-V
          Displays application version.

      --debug,-d
          Sets debug to true.

      --help,-h
          Displays help page.

  AUTHOR:  Author Name
  Copyright (c) 2005, Jim Freeze

fastercsv:更快更简单的csv库

顾名思义, 就是更快csv处理库, 偶看maillist上看到的评测是要快10倍(内置的实在太慢了,以至于fastercsv快它10倍还是比python版本的慢), 同时使用起来也比内置csv简单, 一看就会(除非你根本不知道csv是什么)
比如读取一个csv文件

  FasterCSV.foreach("path/to/file.csv") do |row|
    puts row[0]
    puts row[2]
  end

使用header支持读取cvs文件

  FasterCSV.foreach("path/to/file.csv",:headers=>true) do |row|
    #第一行是header,会自动忽略
    puts row['fielda']
    puts row['fieldc']
  end

需要提醒的是它使用require 'faster_csv',类名却是FasterCSV,不是很符合ruby的命名规则

目前ruby的虚拟机是通过AST(abstract syntax tree) 来完成的,它的速度比较慢, 只能作一般纯脚本的解释工作, YARV的出现就是为了解决这个问题, 它是基于Stack VM来完成.主要的目的就是给ruby脚本提速

下面的图片显示了使用YARV相对普通ruby虚拟机的速度提升率,YARV采用了多种方式来优化ruby的执行速度,列表如下

从图表可以看到, YARV的速度提升是相当惊人的, 最快可以提升接近25倍

当前YARV的版本还只是0.3.3,离实际运用还差很多, 希望ruby2.0的时候能够用上它

注:本人对LAMP,python了解不是很多,此文是我的个人理解,如果有误忘告知

自从接触rubyonrails以来,fastcgi这个技术标准就进入了我的视线,从技术角度看,fastcgi的优点还是很多的,作为一种替代cgi的技术标准, fastcgi有如下优点(稳定,安全,高性能,方便扩展)

• 从稳定性上看, fastcgi是以独立的进程池运行来cgi,单独一个进程死掉,系统可以很轻易的丢弃,然后重新分配新的进程来运行逻辑.

• 从安全性上看, fastcgi和宿主的server完全独立, fastcgi怎么down也不会把server搞垮,

• 从性能上看, fastcgi把动态逻辑的处理从server中分离出来, 大负荷的IO处理还是留给宿主server, 这样宿主server可以一心一意作IO,对于一个普通的动态网页来说, 逻辑处理可能只有一小部分, 大量的图片等静态IO处理完全不需要逻辑程序的参与(注1)

• 从扩展性上讲, fastcgi是一个中立的技术标准, 完全可以支持任何语言写的处理程序(php,java,python...)

但是让我感到迷惑不解的是,apache对fastcgi的支持mod_fastcgi简直就是一塌糊涂, 最新的稳定版本居然还是2003年的,snap也只到2004年, 在1.3下面还勉强可以用, 在apache2.0上更是被报告无法稳定运行.fastcgi在[lighttpd][]上表现还算不错, 但是lighttpd在用户群,兼容性上还不够主流(也就在linux上面表现不错, 没有正式的windows版本, solaris下面也有bug). 另外fastcgi也缺乏发展,让人有被废弃掉了的感觉.(ruby的dbi也是这个状况). 和其他日新月异的技术标准比, fastcgi地位尴尬

直到我看到这篇文章才明白,fastcgi真是的命苦.(呵呵,以下的内容取自该文章)

从名字上看fastcgi是fast的cgi的,属于改良派.从理论上,他可以很多程序语言接口来开发动态web,但是这些程序语言每一个都是走完全革命的道路. java阵营就自己搞了一套j2ee server标准,要协作也直接找apache或者IIS谈,瞧不上fastcgi. aspx直接和IIS是亲兄弟,没有fastcgi的份. 剩下的php因为太流行(LAMP),和apache是铁哥们,一个mod_php就解决了,简单方便, python社区的牛人太多,精力旺盛,人家搞了个SCGI玩,和fastcgi比是有过之而无不及. 等到rails出山的时候, fastcgi真的算是老态龙钟了.

rails的出现使得fastcgi重新焕发了青春, apache也开始重新构建新的mod_proxy_fcgi,但是它的前途还不能说是一片光明, 我觉得至少有以下几个问题

• 目前的fastcgi和server沟通还不够智能,一个fastcgi进程如果执行时间过长会被当成是死进程杀掉重起,这样在处理长时间任务的时候很麻烦.这样做也使得fastcgi无法允许联机调试.
• SCGI等类似技术的都可以替换fastcgi, SCGI在python中很成功,功能完备,目前SCGI也开始支持rails了
• 随着rails的流行,一个独立的mod_rails是可能出现的,而且ruby自身的webserver也开始涌现,以后极有可能自己搞一套东西连接主流的webserver.fastcgi设计的时候是想作common gateway interface(cgi)的,但是这个目标的现在看来已经不适合了

总结: 我觉得fastcgi的前途不明朗, 但是目前来说,他也是rails唯一可以进入生产环境的工具,只用搞懂怎么配就可以了,没有必要深入研究.

注1: 有时候逻辑也会参与图片的生成,这时候图片的IO处理就需要动态程序介入了,此时fastcgi技术上的优势虽然体现不出来,但是也不会比其他技术标准差

• 首先是沉寂了快一年的ruby One-Click Installer在正月初二发布了新版本 1.8.4-16 preview1,随后很快又更新到preview2,preview3,正式版本应该不会等很久了

• 然后是 markaby 出到了0.3版,这个东西感觉上似乎是rails内置builder的改良版,也是使用用ruby语法习惯来写html的库,但是和builder主要关注xml标签生成不同,markaby更多关注的是html的生成,他的目的主要是替换一部分rhtml的职能. markaby既可以作为rails的plugin运行, 也可以独立使用. 目前markaby还在进一步演化当中

• 然后又是一个新的lib double x 发布0.1, 这个lib是用来生成html,xhtml,xml的,有了它, 你可以轻而易举的给一个对象增加to_xml的方法.他的用法和markaby也很类似

• 最后是 mongrel http server 发布了0.2.2,有了它, webrick的日子不多了(套用宋大姐的话说: 相当慢!,这里有一份评测) 其实mongrel的速度也不是很快,但是和webrick一比,还是要快一个数量级

现在有人出来UTF-8 Plugin for rails, 有兴趣的到这里看看, 对于非rails的应用,只使用它的String class extensions 也是可以的

评论: 这样的plugin还是不够方便,用惯了java,总觉得对unicode的支持应该是透明的

本文转自http://redhanded.hobix.com/inspect/unicodeLibForRuby18.html

想感受一下ruby却又不想费事的安装它?

没有关系, 现在有了Try Ruby站点, 只要你有浏览器你就可以立刻使用ruby了,Try Ruby提供了一个类似ruby的irb那样的交互环境, 还提供了一个简短的ruby教程.




怎么样? 还不马上去试试看
----------------------------------------------------------
ps: ruby-cn 上的cid73 告诉我, 这里还有一个一次性运行整段代码的的ruby解释网页
虽然比上面的简陋一点,不过也还不错啦

require 'iconv'
conv = Iconv.new("GBK", "ISO-8859-1")
result = conv.iconv("hello")
result << conv.iconv(nil)
conv.close

需要注意的是转换以后还需要调用一下iconv(nil)来刷新未输出的数据 , 最后记得关闭conv

以上方式可以用block来简化

当然,还有一种更简单的方式

Iconv.conv(toendocing, fromencoding, str)

最后还要提醒一下, iconv接受编码是toencoding在前, fromencoding在后, 不要记错了.偶就是因为这个问题被郁闷了半天


题外话:  ruby中很多功能都依赖于各种库, 比如这个iconv, 真是胶水语言的典型范例.

--------------------------------------------------------------------
补充:  windows下面iconv 的安装

到这里下载iconv安装包,  按照如下方式放置包中的文件就OK了

iconv.so ->    ruby\lib\ruby\1.8\i386-mswin32\
iconv.dll ->   windows\system32\
charset.dll -> windows\system32\

更详细的说明见安装包中的README

test="hello" #普通string 
normal=a.dup #还是普通string 
class << test 
        def to_s 
                "value is #{self}" 
        end 
end        #test对象已经被更新, normal保持不变 

运行完上述代码以后

从这个例子上来看, 此时的test对象的类已经被扩展为新的to_s方法,但是这个扩展只能影响到test对象自己 ,其他的string对象还是原来的方法.

我的理解: 基于对象的类通过指令"<<" 来定义, 他能够扩展并且只能扩展被定义的对象, 同时不能影响系统中其他同类型的对象
"<<"指令可以用来临时修改一个对象,此外,这个指令还可以用来定义类的方法, 一般定义类方法是通过如下语法

如果嫌需要写多次类名麻烦,可以通过self替换

有了"<<"指令,还可以这样来

上述三者的定义是等价的,而且在ruby源代码中很容易看到第三种用法
 
解释: 在ruby中,每一个类都有一个唯一实例的metaclass. 类定义的方法都存在这个metaclass中
通过"<<"对这个唯一实例的metaclass作扩展,给metaclass增加方法和直接给这个类增加方法是一样的效果

但是为什么在我的windows上面或者在rubyonrails程序中的就可以这样require了呢,经过一番google再加上自己多次试验，终于发现了其中的缘故

原来windowsXP下面有一个环境变量 RUBYOPT='rubygems' 而linux下面没有， 在linux下面加上RUBYOPT以后，发现可以工作, 进一步发现只要在require其他类以前先require 'rubygems' 程序也能自动识别gem包内的库， 看来，rubygems 对require函数作了手脚， 总结如下

RUBYOPT中'rubygems' 实际上引用的是 ubygems.rb这个文件,在ubygems.rb中再require 'rubygems' 相当于作了一个alias

在rubygems.rb中, 对Kernel模块作了如下调整
1增加了require_gem的指令,这个指令支持按照指定版本号require
2在文件末尾, require了 'custom_require'

在custom_require.rb中, 对require函数作了修改,代码如下

在上面的代码中, require函数被更新, 当不能从RUBY内部的loadpath中读取文件时, require会从gempath中查找, 这样require函数就能支持gem了

结论: 要使用gem中的包, 3个办法
1 使用RUBYOPT='rubygems'
2 先require 'rubygems' 或者 'ubygems'
3 使用require_gem