Jasper's Java Jacal

复旦大学的中文语料库分为训练集和验证集两部分,两部分的文档数量基本相等,但现在做测评一般都不采用这种预先划分的方法,而多用交叉验证,因此在将训练集与验证集合并之后,得到该语料库的一些基本信息如下：

类别总数量:20

文档总数量:19637

       类别名称(类别代码):文档数量

       Agriculture(C32):2043篇

       Art(C3):1482篇

       Communication(C17):52篇

       Computer(C19):2715篇

       Economy(C34):3201篇

       Education(C5):120篇

       Electronics(C16):55篇

       Energy(C15):65篇

       Enviornment(C31):2435篇

       History(C7):934篇

       Law(C35):103篇

       Literature(C4):67篇

       Medical(C36):104篇

       Military(C37):150篇

       Mine(C23):67篇

       Philosophy(C6):89篇

       Politics(C38):2050篇

       Space(C11):1282篇

       Sports(C39):2507篇

Transport(C29):116篇

同时,在使用ictclas4j分词包对其进行分词的过程中,发现复旦语料库中存在一些文章会使得ictclas4j报错,其中因为分词包本身字库缺少某些文字,以及一些神秘的字符组合(确实很神秘)会导致分词过程出错,因此能够被成功分词而供后续使用的文档数并不如上面所列这么多,在分词之后,情况如下:

类别总数量:20

文档总数量:18185

    类别名称(类别代码):文档数量

    Agriculture(C32):1949篇

    Art(C3):1237篇

    Communication(C17):52篇

    Computer(C19):2591篇

    Economy(C34):2912篇

    Education(C5):111篇

    Electronics(C16):51篇

    Energy(C15):63篇

    Environment(C31):2347篇

    History(C7):708篇

    Law(C35):103篇

    Literature(C4):65篇

    Medical(C36):98篇

    Military(C37):147篇

    Mine(C23):63篇

    Philosophy(C6):86篇

    Politics(C38):1920篇

    Space(C11):1226篇

Sports(C39):2344篇

Transport(C29):112篇

在已分词后的语料库里,可以看出这样几个特点,一,文档总数比未分词的版本少了1448篇(可见ictclas4j的错误还是满普遍的)；第二，文档数量分布仍不均衡，最多的经济类文章有2912篇，而最少的电子类与通信类文章仅有51篇与52篇，往好的方向说可以考察你所开发的系统如何应对数据集偏斜的问题，往坏的方向说给要上线的系统作训练集恐怕不太合适。

在下一篇文章中,我将进一步总结词频统计的结果.

假设我们有以下的类别层次:

Layer1 --> Layer2 --> Layer3 --> Layer4

其中Layer1是位于最高位置的基类,Layer2是Layer1的直接子类,而Layer3又是Layer2的直接子类,等等.

我们在使用数组时会有这样的用法:

Layer1[] layerArray=new Layer2[10];

此时尽管运行时可能产生某些错误,例如往一个明明是Layer2的数组中加入一个Layer1的实例,但编译期并不会有什么问题.这是因为Java的数组存在称之为”协变”的现象,即如果Layer2是Layer1的子类,那么Layer2的数组也是Layer1的数组的子类.我们可以这样来验证:

Layer2[] layer2Array=new Layer2[10];

System.out.println(layer2Array instanceof Layer1[]);

程序输出的结果为true.

像Layer1[] layerArray=new Layer2[10];这样写有一个很大的缺点，那就是你可以写

layerArray[0]=new Layer1();

这样的代码，编译器不会报错，但实际上我们往一个Layer2的数组里塞了一个Layer1的实例，这在运行时会扔出一个java.lang.ArrayStoreException。即是说数组没有提供编译期的类型检查。

而容器(例如List)很容易被我们认为是另一种数组，只是能够容纳各种类型以及动态改变大小而已。在JavaSE5之前，即使这样认为也不会给编程带来麻烦，因为容器没有办法指定所容纳的具体类型。但在引入泛型之后，我们可能为了编译期的类型检查以及动态改变大小两个理由而迫不及待的用容器彻底代替数组，也就有可能想当然的写出这样的代码：

List<Layer1> list=new ArrayList<Layer2>();

这样写的理由很简单，总是希望用基类型的引用来提供灵活性。然而遗憾的是，上述代码编译不能通过（或许编译期就不能通过这一点，反而是好事），原因就在于容器没有“协变”现象，一个Layer2的List并不是Layer1的List的子类，而是完全不同的类。因此上面的代码同

Integer i=new String("你好");

一样荒谬，自然逃不过编译器的法眼。

难道就不能用泛型创建这样一种List的引用，类型参数只使用基类型，而在实例化的时候可以使用子类型，但又可以借助泛型的编译期检查么？

例如我想要一个List<Layer1>类型的引用，这个引用可以指向ArrayList<Layer2>或ArrayList<Layer4>（因为我不想关心实例化时的具体类型），但是一旦实例化一个ArrayList<Layer2>以后，又能借助编译器来检查向其中添加的确实是Layer2的实例，而非String或Integer。这能不能办到呢？

答案是不能，虽然初试之下，我们可能会利用泛型通配符想当然的写出如下代码：

List<? extends Layer1> layer1List=new ArrayList<Layer2>();

乍看之下，代码的本意是要建立一个泛型List的引用，而泛型的类别参数是任何Layer1的子类均可，这不正好合我们刚才所说的意思吗？而且这回编译器也没有报错，应该OK了吧!

接下来的事情却让人哭笑不得，这个List竟然不能添加任何元素，无论是写

layer1List.add(new Layer1());

还是写

layer1List.add(new Layer2());

均报错（编译期即错，不用待到运行时）。甚至是

layer1List.add(new Object());

也报错（这证明了无论提供的类型参数是Layer1的子类还是超类，亦或者Layer1本身，均报错）。

这是为什么呢？（给读者３分钟思考，然后带着诡异的微笑揭晓答案）

原来extends关键字圈定的是泛型参数的上界，回头单看

List<? extends Layer1>

这一句，其实说的是，我有一个泛型的List，它的类别参数是Layer1的一个子类，因此如果这个子类是Layer3，那么Layer2以上的类别就不能向该List中添加（这个没什么问题吧，别绕进去了哦），如果这个子类别是Layer4，那么Layer3以上的类别就不能向该List中添加（想象我们的类别体系还存在Layer5,Layer6等等，显然子类别是哪一个都有可能，那就是说拒绝任何一个类别都是说得通的）。因此编译器根本无法确定这个List到底可以放什么不可以放什么，所以统统拒绝。

更正式一点说，extends给了一个上界，只有该界以下的类别才能合法的添加到List中，但是这个上界本身都是不确定的（它可以无限往类别体系的下方移动），自然也就说不出哪些类别是合法的了。

结论：想要容器提供类似于数组那样的协变效果，而又要有类型检查，至少在我所知范围，办不到。

需要首先说明的是，不同于以前的C++版提供的JNI调用，本次使用的是纯Java版本的ICTCLAS，下载地址在http://ictclas.org/Down_OpenSrc.asp。

好，假设你已经下载了我们需要使用的Java版本ictclas4j，现在把它解压缩，然后把Data文件夹整个拷贝到Eclipse项目的文件夹下,而bin目录下的org文件夹整个拷贝到你Eclipse项目的bin目录下，把src目录下的org文件夹整个拷贝到Eclipse项目的src目录下（最简单快捷的使用方式，或者你自己打成jar包，这样无论放到哪里，都可以在build path里面导入这个jar包啦）。

现在就可以在你的项目里新建一个类来试试。我新建了一个类，代码如下：

import org.ictclas4j.bean.SegResult;

import org.ictclas4j.segment.SegTag;

publicclass OneMain {

publicstaticvoid main(String[] args) {

System.out.println("This is OneMain");

SegTag st = new SegTag(1);

SegResult sr = st

.split("一块勤奋地漂亮的一块钱,/打造经济的航空母舰。ABCD.#$% Hello World!\n又一段文本123辆 ！3.0");

System.out.println(sr.getFinalResult());

}

}

很显然文本“一块勤奋地漂亮的一块钱,/打造经济的航空母舰。ABCD.#$% Hello World!"n又一段文本123辆 ！3.0”就是我们用来测试的文本，其中包含了中文，英文，标点符号，乱七八糟符号（笑）及阿拉伯数字。

我们运行刚才的程序，看下输出结果：

This is OneMain

一块/s 勤奋/a 地/u 漂亮/a 的/u 一/m 块/q 钱/n ,/w //nx 打造/v 经济/n 的/u 航空母舰/n 。/w ABCD.#$%/nx Hello/nx World/nx !/w 又/d 一/m 段/q 文本/n 123/m 辆/q

看到了么，分词的结果是一个长长的String类数据，用空格区分出每个词，每个词还用/后面的英文标号标出了词性。一起来看看几个有趣的地方。

原文中其实有两个“一块”，一处是“一块勤奋”，这里很正确的识别为了副词，而后面的“一块钱”中的“一块”也正确的识别为数量词。

阿拉伯数字正确识别为数词，包括小数形式的“3.0”。而英文和乱七八糟符号（包括那个不可见的换行符，你找到它在哪了吗？）则都被划为一类——/nx！（因为我也不知道ICTCLAS内部人员管它叫什么啦，非法字符啊，还是无效字符啊，或者其它字符啊，名字可以自己取嘛）

测试文本中还有两个叹号，一个是英文半角的!，一个是中文全角的！，两者也都被正确识别为标点符号，但英文的句号“.“就被认为是/nx啦。

测试文本中的空格被完全忽略。

好，十分简单对不对？去玩玩吧。

“之所以如此关心间隔这个东西，是因为间隔与样本的误分次数间存在关系：

”

此处更确切的说法应该是几何间隔与样本的误分次数存在上述关系。

就在刚才这段话的下面，我解释R代表的含义时说它是“R是空间中一个能完全包含样本数据的球的半径”，很遗憾这是错误的，正确的定义是

R=max ||xi||  i=1,...,n

即R是所有样本中（xi是以向量表示的第i个样本）向量长度最长的值。

犯下上述错误，委实显得不专业，在此道歉。

上回说到对于文本分类这样的不适定问题（有一个以上解的问题称为不适定问题），需要有一个指标来衡量解决方案（即我们通过训练建立的分类模型）的好坏，而分类间隔是一个比较好的指标。

在进行文本分类的时候，我们可以让计算机这样来看待我们提供给它的训练样本，每一个样本由一个向量（就是那些文本特征所组成的向量）和一个标记（标示出这个样本属于哪个类别）组成。如下：

D_i=(x_i,y_i)

x_i就是文本向量（维数很高），y_i就是分类标记。

在二元的线性分类中，这个表示分类的标记只有两个值，1和-1（用来表示属于还是不属于这个类）。有了这种表示法，我们就可以定义一个样本点到某个超平面的间隔：

δ_i=y_i(wx_i+b)

这个公式乍一看没什么神秘的，也说不出什么道理，只是个定义而已，但我们做做变换，就能看出一些有意思的东西。

首先注意到如果某个样本属于该类别的话，那么wx_i+b>0（记得么？这是因为我们所选的g(x)=wx+b就通过大于0还是小于0来判断分类），而y_i也大于0；若不属于该类别的话，那么wx_i+b<0，而y_i也小于0，这意味着y_i(wx_i+b)总是大于0的，而且它的值就等于|wx_i+b|！（也就是|g(x_i)|）

现在把w和b进行一下归一化，即用w/||w||和b/||w||分别代替原来的w和b，那么间隔就可以写成

这个公式是不是看上去有点眼熟？没错，这不就是解析几何中点x_i到直线g(x)=0的距离公式嘛！（推广一下，是到超平面g(x)=0的距离， g(x)=0就是上节中提到的分类超平面）

小Tips：||w||是什么符号？||w||叫做向量w的范数，范数是对向量长度的一种度量。我们常说的向量长度其实指的是它的2-范数，范数最一般的表示形式为p-范数，可以写成如下表达式

    向量w=(w₁, w₂, w₃,…… w_n)

它的p-范数为

   

看看把p换成2的时候，不就是传统的向量长度么？当我们不指明p的时候，就像||w||这样使用时，就意味着我们不关心p的值，用几范数都可以；或者上文已经提到了p的值，为了叙述方便不再重复指明。

当用归一化的w和b代替原值之后的间隔有一个专门的名称，叫做几何间隔，几何间隔所表示的正是点到超平面的欧氏距离，我们下面就简称几何间隔为“距离”。以上是单个点到某个超平面的距离（就是间隔，后面不再区别这两个词）定义，同样可以定义一个点的集合（就是一组样本）到某个超平面的距离为此集合中离超平面最近的点的距离。下面这张图更加直观的展示出了几何间隔的现实含义：

H是分类面，而H₁和H₂是平行于H，且过离H最近的两类样本的直线，H₁与H，H₂与H之间的距离就是几何间隔。

之所以如此关心间隔这个东西，是因为间隔与样本的误分次数间存在关系：

其中的δ是样本集合到分类面的间隔，R是空间中一个能完全包含样本数据的球的半径（也就是说代表样本的分布有多么广）。先不必追究误分次数的具体定义和推导过程，只要记得这个误分次数一定程度上代表分类器的误差。而从上式可以看出，误分次数的上界由间隔决定！（当然，是样本已知的时候）

至此我们就明白为何要选择间隔来作为评价一个解优劣的指标了，原来间隔越大的解，它的误差上界越小。因此最大化间隔成了我们训练阶段的目标，而且，与二把刀作者所写的不同，最大化分类间隔并不是SVM的专利，而是早在线性分类时期就已有的思想。

但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看

这个公式，这里的|g(x)|代表样本集到超平面g(x)=0距离最近的点的值，因此是一个定值，注意到间隔与||w||是成反比的，因此最大化间隔与最小化||w||完全是一回事。而我们常用的方法并不是固定||w||的大小而寻求最大间隔，而是固定间隔（例如固定为1），寻找最小的||w||。

现在有了一个线性分类函数，也有了判断解优劣的标准（有了优化的目标），接下来自然关心如何求解，且听下回分解。

线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.

用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示

^­C₁和C₂是要区分的两个类别，在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。

什么叫线性函数呢？在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称——超平面（Hyper Plane）！

实际上，一个线性函数是一个实值函数（即函数的值是连续的实数），而我们的分类问题（例如这里的二元分类问题——回答一个样本属于还是不属于一个类别的问题）需要离散的输出值，例如用1表示某个样本属于类别C₁，而用0表示不属于（不属于C₁也就意味着属于C₂），这时候只需要简单的在实值函数的基础上附加一个阈值即可，通过分类函数执行时得到的值大于还是小于这个阈值来确定类别归属。 例如我们有一个线性函数

g(x)=wx+b

我们可以取阈值为0，这样当有一个样本x_i需要判别的时候，我们就看g(x_i)的值。若g(x_i)>0，就判别为类别C₁，若g(x_i)<0，则判别为类别C₂（等于的时候我们就拒绝判断，呵呵）。此时也等价于给函数g(x)附加一个符号函数sgn()，即f(x)=sgn [g(x)]是我们真正的判别函数。

关于g(x)=wx+b这个表达式要注意三点：一，式中的x不是二维坐标系中的横轴，而是样本的向量表示，例如一个样本点的坐标是(3,8)，则x^T=(3,8) ，而不是x=3（一般说向量都是说列向量，因此以行向量形式来表示时，就加上转置）。二，这个形式并不局限于二维的情况，在n维空间中仍然可以使用这个表达式，只是式中的w成为了n维向量（在二维的这个例子中，w是二维向量，注意这里的w严格的说也应该是转置的形式，为了表示起来方便简洁，以下均不区别列向量和它的转置，聪明的读者一看便知）；三，g(x)不是中间那条直线的表达式，中间那条直线的表达式是g(x)=0，即wx+b=0，我们也把这个函数叫做分类面。

实际上很容易看出来，中间那条分界线并不是唯一的，我们把它稍微旋转一下，只要不把两类数据分错，仍然可以达到上面说的效果，稍微平移一下，也可以。此时就牵涉到一个问题，对同一个问题存在多个分类函数的时候，哪一个函数更好呢？显然必须要先找一个指标来量化“好”的程度，通常使用的都是叫做“分类间隔”的指标。下一节我们就仔细说说分类间隔，也补一补相关的数学知识。