ivaneeo's blog

自由的力量,自由的生活。

  BlogJava :: 首页 :: 联系 :: 聚合  :: 管理
  669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks
大家经常使用正则表达式的字符集从字符串中抽取或排除中文字符,但是这样做
很费事,效果也并不是很理想。实际上Perl从5.6开始已经开始在内部使用utf8编码
来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。关键
在于目前使用的编辑器以及文件格式并不都能很好地支持utf8,委屈了Perl的强大能力。
实际上我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。

    下面就以中文文本的处理为例进行说明(注意:编辑下面这段程序不能用使用utf8
编码的编辑器),比如有一个字符串"测试文本",我们想要把这个中文字符串拆成单个
字符,可以这样写:
use Encode;
use Encode::CN; #可写可不写
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
        print encode("gb2312",$char),"\n";
}
结果大家试一试就知道了,应该是令人满意的。

    这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们
需要清楚几个概念:
1、Perl字符串是使用utf8编码的,它由Unicode字符组成而不是单个字节,每个utf8编
码的Unicode字符占1~4个字节(变长)。
2、进入或离开Perl处理环境(比如输出到屏幕、读入和保存文件等等)时不是直接使用
Perl字符串,而需要把Perl字符串转换成字节流,转换过程中使用何种编码方式完全取决
于你(或者由Perl代劳)。一旦Perl字符串向字节流的编码完成,字符的概念就不存在了
,变成了纯粹的字节组合,如何解释这些组合则是你自己的工作。

    我们可以看出如果想要Perl按照我们的字符概念来对待文本,文本数据就需要一直用
Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存(
包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要encode和decode函
数的帮助了。

    encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编
码格式编码,最终转化为字节流的形式,因此和Perl处理环境之外的事物打交道经常需要
它。其格式很简单:
        $octets = encode(ENCODING, $string [, CHECK])
这里$string是Perl字符串,ENCODING是给定的编码方式,$octets则是编码之后的字节流
,CHECK表示转换时如何处理畸变字符(也就是Perl认不出来的字符)。一般不需要使用
CHECK,让Perl按默认规则处理即可。
    编码方式视语言环境的不同有很大变化,默认可以识别utf8、ascii、ascii-ctrl、
iso-8859-1等,中文环境(CN)增加了euc-cn(gb2312与之等价)、cp936(gbk与之等价
)、hz等,还有日文环境(JP)、韩文(KR)等等,在此不一一尽数。

    decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流,将
其转化为使用utf8编码的Perl字符串,一般来说从终端或者文件取得的文本数据都应该用
decode转换为Perl字符串的形式。它的格式为:
        $string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。

    现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已
经是字节流形式,丧失了本来的意义,所以首先就要用decode函数将其转换为Perl字符串
,由于汉字一般都用gb2312格式编码,这里decode也要使用gb2312编码格式。转换完成后
Perl对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字
符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、pack、unpack等)。
于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码
的字符串,还需要将切割后的字符用encode函数编码为gb2312格式的字节流,再用print
输出。

    Encode模块的初步应用大概就是这样,详细情况还是要参阅模块的文档。实际上如果
我们使用UltraEditor等等支持编辑utf8编码文件的编辑器写程序,基本上用不着Encode
模块,在程序开头加上一句use utf8就行。这时Perl默认包括程序本身在内的所有的字符
都是Unicode字符,可以随便使用Unicode范围内的字符,甚至可以用非英文字符作为标识
符,只是输出的时候可能还需要用Encode模块。比如用UE的utf8编码模式编辑这个程序:
        use utf8;
        $单价=10;
        $数量=100;
        $总额=$单价*$数量;
        print "$总额\n";
可以在Perl 5.6以后的版本中正常运行并给出结果,是不是很爽?:) 这种模式最大的优点
就是在字符串中可以混合多种语言的文字,就算中日韩英加上阿拉伯字符都在一个字符串
中出现也没问题;不像使用Encode模块那样必须固定一种编码方式,中日韩英字符同时出
现还好办,因为gbk包含了所有这些字符,可是再加上一些非亚洲语言字符就不一定能处
理了。所以以后用Unicode编码应该是大势所趋。

希望写的这些能对大家有所帮助。
posted on 2006-04-15 22:50 ivaneeo 阅读(2297) 评论(1)  编辑  收藏 所属分类: perl-杀鸡就要用牛刀

Feedback

# re: perl的对中文的支持[未登录] 2007-11-14 11:40 Will
学到了,3X  回复  更多评论
  


只有注册用户登录后才能发表评论。


网站导航: