信息采集系统的技术实现

        信息采集系统指的是按标准格式采集指定网络信息，同搜索引擎的区别在于其采集的目的性更强，采集源范围也比较小。这里简单介绍一下信息采集系统实现上的几个关键问题:

1) 采集网页数据

        VC,Java,VB的网络通讯功能都足够实现信息采集，VC中的Get/Post方式可采集网页信息，也可以直接用socket方式采集，但一般用前一种模式，另外为了提高采集效率都采用多线程技术，在网上的一些Spider程序都是多线程的,可以借鉴.

2) 如何按关键字来信息

        信息采集的一大特点是按多个关键字将信息拆分出来，例如供求信息中的商机标题、联系人、电话、Email、内容等，实现时需要事先定义好这些关键字，然后在网页中搜索，将夹在两个关键字当中的信息采集出来，另外还要注意，网页中的许多关键字是包含空格的，空格数量也不能确定，例如"邮   件",这就要求在查找关键字时要把关键字按单个汉字拆开来匹配，遇到中间的空格要跳过去.这一步实现了，信息就会变的非常有规则，也就可以导入本地库了.

3) 网页中的链结获取算法

        了解HTML的应该清楚，网页中的链结都是通过的标签定义的，但也会分很多情况，例如:  < a href = "...">  这是常见的链结格式，但要注意采集出来的链结可能是完整的http://...，也可能是相对路径,要分别处理；  < a href = ''> 用单引号分隔的，所以用算法获取链结的时候要根据双引号和单引号两种标记来分隔；< a href = .. onclick = javascript:view('..','')> 通过javascript的函数处理链结，算法上就麻烦了许多。

4) 无效数据的过滤

        即使通过关键字的方式摒弃了许多广告信息，但在关键字信息中也会有不少无效数据，包括一些信息开头的空格

5) 特定数据的获取算法

        Email,电话等数据符合一定的规范，一般可以用一些算法提取出来，也可以用正则表达式技术来获取，在网络上有不少此类算法.在信息采集中，Email和电话等关键信息是比较分散的，需要用提取算法把这些信息提取出来放在正确的位置.这是非常有必要的，因为信息采集系统往往会有邮件群发的功能.

信息采集的整个流程可总结如下:

 a) 首先，获取网页的完整信息

 b) 用算法获取网页中的正文信息，即抛弃HTML的标签文本

 c) 去除多余的空行

 d) 按定义好的关键字将信息分隔开

 e) 对信息进行无效数据过滤

 f) 信息入本地库

 g) 获取网页中的链结，对该链结从a)步骤开始重复,但注意网页中的许多链结是广告或无效的，因此要事先定义好一些链结关键字，只有包含关键字的链结才处理

行业搜索、垂直搜索引擎。

行业搜索：搜索对象针对所在的行业，采用类似传统通用搜索引擎的分词索引技术，返回关键词最匹配的结果。

垂直搜索：搜索对象针对所在的行业，采用数据采集、数据挖掘、数据整理等技术，返回经过加工处理的结果。

一、综合搜索

酷讯www.kooxoo.com ：招聘、房产、汽车、火车票、机票、餐饮、交友、购物、旅游

奇虎www.qihoo.com ：论坛、博客、新闻、招聘、房产、视频、音乐、图片、火车票、餐饮、经验？、折扣

cgogo搜个够www.cgogo.com ：社区、招聘、票务、住房、视频、本地（地图）、博客、无线

我酷网 www.wooqoo.com                  （五花八门，该有都有）

开拓搜索www.kaitoo.com                  （五花八门，该有都有）

每步搜索 http://cnc.meibu.com/ （综合）

八百搜www.800so.com （五花八门，该有都有，站内搜索和站外搜索并列）

酷爱 www.koooi.com （网页 MP3 房产 餐饮 交友 搜人 资源）

soso88   www.soso88.net （政府采购 人才职位 房源地产 建材装饰）

二、求职招聘： （18）

职友集   www.jobbui.com

搜职网  www.globehr.com

南京搜职网  www.sozhi.cn

托托搜索 www.totojob.com

1010job精英招聘 www.1010job.com

牛耳搜职网 www.newerjob.com

数字英才（职通车） www.01hr.com

深度搜索 www.deepdo.com

淘职网 www.go2work.com.cn

我搜网 www.alsox.com

校园招聘 www.zhaopinbbs.com

易聘  www.yipin.cc

找工作 www.meijob.com

热职工作引擎 www.rezhi.com

职场快线 www.jobems.com

职脉搜索 www.jobmet.com

高八斗 www.gao8dou.com         区域搜索引擎联合，在各地都有独立一级域名，单一数据库。

安徽人才总网 www.ah668.com/rc/ （安徽区域搜索）

三、房屋房产 （9）

搜房引擎 search.soufun.com

房老大 www.fanglaoda.com

焦点房产seek.focus.cn

家家看网 www.jjto.com

我住网 www.wozhu.com

搜房网 www.sofang.com.cn

寻捕房 www.xpfang.com

房网搜索 www.house163.com

百房 www.100fang.com

四：商务商机、人文 （20）

联络家  http://www.linkist.com/

优库  www.ucloo.com        （搜人 公司 学校 ）

Anyso商业搜索引擎  www.anyso.com

accoona  www.accoona.cn

国通网 www.guton.com

享者  www.hengzhe.com

品搜 www.pinsou.com

品通 www.joingoo.com

搜商 www.bseek.cn

商搜 www.shangsou.com

商宝 www.b2b8.com

jow  http://jqw.com/

企业门户 www.yie.cn

搜库网 www.souku.com.cn

伊索  http://china.eceel.com/

天网商搜 http://china.eceel.com/

信援 www.xinsos.com

一呼百应 www.youboy.com

易购搜索 www.ego321.com

浙搜 http://zhesou.com/ （区域性搜索）

五、生活、购物消费 （17）

8848（比较购物）http://esearch.8848.com/

丫丫比较购物 http://askyaya.com/

大拿网（比较购物） http://www.danawa.com.cn/

普加 Pojaa http://www.pojaa.com/

搜狗 http://shopping.sogou.com/

购物搜索www.gobygo.com

中搜http://shopping.zhongsou.com/

Soaso http://www.soaso.com/

搜评网 http://www.souping.com/

无忧城市网 http://www.51city.com

亿起搜  http://www.eqiso.com/

365.com  www.365.com （生活搜索综合）

快搜测评网 www.ksou.com.cn （IT硬件相关）

搜教网 www.soojoo.cn （教育资源相关）

乐逊外卖搜索 www.lexun.com.cn

友买网 www.uobuy.com

马可波罗 www.makepolo.com/

易购搜索 www.ego321.com

六、地图公交、出行 （15）

公交查询 http://www.8684.cn/

瘦驴旅游搜索引擎  http://www.souluu.com/

E都市 http://www.edushi.com/

Mapabc地图 http://www.mapabc.com/

图吧  http://main.mapbar.com/

UUMAP http://www.uumap.com/

城市通 http://www.52tong.com/

华夏图网 http://www.map2china.com/

都市圈－三维地图 http://www.o.cn/

第1搜 http://www.d1so.com/

都市吧 http://www.city8.com/

活图网 http://www.livemap.cn/

我要地图 http://www.51ditu.com/

丁丁地图 www.ddmap.com

坐车网 http://www1.zuoche.com/ （广州区域搜索）

google、百度、搜狗、MSN虚拟地球http://virtualearth.msn.com/

七、医疗健康

康Q www.kangq.com

Souvv http://search.souvv.com/

医搜 http://www.yiso.cc/

放心医苑网 http://www.120so.com/

博睿  http://search.chinamtcm.com

八、图书搜索

爱搜书网 http://www.isoshu.com/

读秀知识库 http://www.duxiu.com/

九、分类信息

国通网http://www.guton.com

十、手机搜索引擎

悠悠村  http://www.uucun.com/

儒豹手机搜索 http://www.roboo.com/

十一、软件IT、BT资源

迅雷资源搜索 http://so.xunlei.com

BT联盟搜索引擎 http://search.btchina.net/

BT全球搜索 http://bt.it.com.cn/

BT特工 http://bt.souyo.com/

飞客BT搜索 http://bt.fkee.com/

天天BT 电影 http://www.ttbt.cn/

网游搜索 www.37ss.com

FTP搜索引擎 www.tooooold.com

十二、娱乐综合、电影、音乐等

搜刮  http://www.sogua.com/

易搜 http://bt.souyo.com/               （娱乐综合、软件IT、游戏、电影）

OpenV开放视频 http://www.openv.tv/

第九频道 www.tvix.cn

动漫搜索 http://share.greedland.net/

奇客网 http://v.qirss.com/

CCTV视频搜索 http://vsearch.cctv.com/

优酷视频搜索  http://www.youku.com/

十三、电视节目

电视猫  www.tvmao.com

e准 - 电视节目预告 www.ezhun.com

搜视网 http://www.tvsou.com/

我爱电视剧 http://www.5idsj.com/ （剧情搜索）

十四、博客、论坛搜索

贴易 http://search.teein.com/

Souyo http://www.souyo.com/

博狗 http://www.blogool.com/

大旗 http://search.chinabbs.com/

博客查号台  http://www.blog114.com.cn/

博搜 http://www.booso.com/

中文RSS搜索 http://www.booso.com/

名人博客 http://www.starlogs.com/

中国博客网搜索 http://search.blogcn.com/

十五、其它

搜农 www.sounong.net （来自安徽的和农业相关综合搜索引擎）

农搜 www.agrisou.com

性搜 http://www.sinsoo.com/

中国建筑黄页 www.agoo.com.cn

搜网（图片搜索） http://home.souwang.com/

金聚网（游戏搜索） http://www.jj160.com/

游戏网（搜索引擎？）http://ks.pcgames.com.cn/

乐虎网（手机图片） http://www.joyhoo.com/

全国驾校搜索 www.jxedt.com

个性搜索       www.deyeb.cn

   引言

数据挖掘(Data Mining，DM)是从大量数据中提取或“挖掘”知识，是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。[1] 随着网络的不断发展，因特网目前已成为一个巨大的、分布广泛的和全球性的信息服务中心。从海量的网络信息中寻找有用的知识，早已成为人们的迫切需求。各种类似Google、Baidu等的搜索引擎也层出不穷，Web数据挖掘的应用在现实中不断体现。

Web数据挖掘建立在对大量的网络数据进行分析的基础上，采用相应的数据挖掘算法，在具体的应用模型上进行数据的提取、数据筛选、数据转换、数据挖掘和模式分析，最后做出归纳性的推理、预测客户的个性化行为以及用户习惯，从而帮助进行决策和管理，减少决策的风险。

Web数据挖掘涉及多个领域，除数据挖掘外，还涉及计算机网络、数据库与数据仓储、人工智能、信息检索、可视化、自然语言理解等技术。

2   Web数据挖掘面临的问题

Web的巨大、分布广泛和内容多样使得目前的Web挖掘面临着众多问题和挑战。首先，对有效的数据仓库和数据挖掘来说，Web上的数据过于庞大。而且，Web上的数据具有极强的动态性，不仅数量增长快而且更新十分迅速。但是面对如此大量的Web上的信息，有调查却表明：99%的Web信息对于99%的用户是无用的。这样看来，面对网络上形形色色各式各样的用户群体，许多由Web搜索引擎所检索到的资料将会被淹没。

另外，由于Web页面缺乏同一的结构，其结构又比任何传统文本文档都要复杂，所以要实现基于Web的数据挖掘和信息检索在目前来说是非常具有挑战性的。

3   Web数据挖掘的分类

Web数据挖掘是一项具有挑战性的课题。它实现对Web存取模式，Web结构和规则，以及动态的Web内容的查找。一般来说，Web数据挖掘可分为四类：Web内容挖掘、Web结构挖掘、Web使用记录挖掘和Web用户性质挖掘。其中，Web内容挖掘、Web结构挖掘和Web使用记录挖掘是Web1.0时代就已经有了的，而Web用户性质挖掘则是伴随着Web2.0的出现而出现的。

3.1 Web内容挖掘

Web内容挖掘主要包括文本挖掘和多媒体挖掘两类，其对象包括文本、图像、音频、视频、多媒体和其他各种类型的数据。这些数据一般由非结构化的数据(如文本) 、半结构化的数据(如HTML 文档) 和结构化的数据(如表格) 构成。对非结构化文本进行的Web挖掘，称为文本数据挖掘或文本挖掘，是Web挖掘中比较重要的技术领域。Web挖掘中另一个比较重要的技术领域是Web多媒体数据挖掘。

目前，关于Web内容挖掘的研究大体以Web文本内容挖掘为主。Web内容挖掘一般从资源查找和数据库两个不同的方面进行研究。

从资源查找的方面来看，Web内容挖掘的任务是从用户的角度出发，怎样提高信息质量和帮助用户过滤信息。主要是对非结构化文档和半结构化文档的挖掘。非结构化文档主要指Web上的自由文本，如小说、新闻等。Web上的半结构化文档挖掘指在加入了HTML、超链接等附加结构的信息上进行挖掘，其应用包括超链接文本的分类、聚类、发现文档之间的关系、提出半结构化文档中的模式和规则等。

从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成， 以支持复杂查询，而不只是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web知识库来实现。

对文本数据进行挖掘的文档分类和模型质量评价方法与传统的数据挖掘方法相类似，分类算法主要应用朴素贝叶斯(Naive Bayes Classifier)。对模型的质量评价主要有分类的正确率(Classification Accuracy)、准确率( Precision)和信息估值( Information Score)。 SAAS

Web多媒体数据挖掘从多媒体数据库中提取隐藏的知识、多媒体数据关联、或者是其他没有直接储存在多媒体数据库中的模式。多媒体数据挖掘包括对图像、视频和声音的挖掘。多媒体挖掘首先进行特征提取，然后再应用传统的数据挖掘方法进行进一步的信息挖掘。对网页中的多媒体数据进行特征的提取，应充分利用HTML的标签信息。[3]

3.2 Web结构挖掘

由于有用的知识不仅包含在Web页面的内容中，而且也包含在页面的结构中。所以Web结构挖掘是从站点的组织结构和页面结构中推导出知识，对Web页面间的结构进行挖掘，找出数据链的结构进行分类、聚类，从而发现页面间的关系，进而改进搜索引擎的性能。

Web结构挖掘的对象是Web本身的超链接，即对Web文档的结构进行挖掘。Web结构挖掘的基本思想是将Web看作一个有向图，他的顶点是Web页面，页面间的超链就是图的边。然后利用图论对Web的拓扑结构进行分析。常见的算法有HITS ( Hypertext Induced Topic Search) 、PageRank、发现虚拟社区的算法、发现相似页面的算法、发现地理位置的算法和页面分类算法。Web结构挖掘的算法一般可分为查询相关算法和查询无关算法两类。查询相关算法需要为每一个查询进行一次超链分析从而进行一次值的指派;而查询独立算法则为每个文档仅进行一次值的指派，对所有的查询都使用此值。HITS和PageRank分别是查询相关算法和查询独立算法的代表。

4   结束语

Web数据挖掘是当今世界上的热门研究领域，其研究具有广阔的应用前景和巨大的现实意义。目前国内的Web数据挖掘尚处于学习、跟踪和探索阶段。Web数据挖掘有许多问题有待于进一步的研究和深化。Web2.0的出现给Web数据挖掘提出了新的要求。基于Web2.0的数据挖掘目前还处于起步阶段，它必将成为Web数据挖掘中很重要的一个研究领域。

Ext Stand-alone：
ext-base.js
ext-all.js (or your choice of files)

Yahoo! UI (.12+)：
yui-utilities.js
ext-yui-adapter.js
ext-all.js (or your choice of files)

jQuery (1.1+)：
jquery.js
jquery-plugins.js // required jQuery plugins
ext-jquery-adapter.js
ext-all.js (or your choice of files)

Prototype (1.5+) / Scriptaculous (1.7+)：
prototype.js
scriptaculous.js?load=effects  (or whatever you want to load)
ext-prototype-adapter.js
ext-all.js (or your choice of files)

呵呵，第一个例子就出来了，试试看吧~

Enum作为Sun全新引进的一个关键字，看起来很象是特殊的class, 它也可以有自己的变量，可以定义自己的方法，可以实现一个或者多个接口。 当我们在声明一个enum类型时，我们应该注意到enum类型有如下的一些特征。 

　　1．它不能有public的构造函数，这样做可以保证客户代码没有办法新建一个enum的实例。 

　　2．所有枚举值都是public , static , final的。注意这一点只是针对于枚举值，我们可以和在普通类里面定义 变量一样定义其它任何类型的非枚举变量，这些变量可以用任何你想用的修饰符。 

　　3．Enum默认实现了java.lang.Comparable接口。 

　　4．Enum覆载了了toString方法，因此我们如果调用Color.Blue.toString()默认返回字符串”Blue”. 

　　5．Enum提供了一个valueOf方法，这个方法和toString方法是相对应的。调用valueOf(“Blue”)将返回Color.Blue.因此我们在自己重写toString方法的时候就要注意到这一点，一把来说应该相对应地重写valueOf方法。 

　　6．Enum还提供了values方法，这个方法使你能够方便的遍历所有的枚举值。 

　　7．Enum还有一个oridinal的方法，这个方法返回枚举值在枚举类种的顺序，这个顺序根据枚举值声明的顺序而定，这里Color.Red.ordinal()返回0。 

　　了解了这些基本特性，我们来看看如何使用它们。 

　　1．遍历所有有枚举值. 知道了有values方法，我们可以轻车熟路地用ForEach循环来遍历了枚举值了。 

　　for (Color c: Color.values()) 
　　System.out.println(“find value:” + c); 

　　2．在enum中定义方法和变量，比如我们可以为Color增加一个方法随机返回一个颜色。 

　　public enum Color { 
　　Red, 
　　Green, 
　　Blue; 

　　/* 
　　*定义一个变量表示枚举值的数目。 
　　*(我有点奇怪为什么sun没有给enum直接提供一个size方法). 
　　*/ 
　　private static int number = Color.values().length ; 

　　/** 
　　* 随机返回一个枚举值 
　　@return a random enum value. 
　　*/ 
　　public static Color getRandomColor(){ 
　　long random = System.currentTimeMillis() % number; 
　　switch ((int) random){ 
　　　case 0: 
　　　　return Color.Red; 
　　　case 1: 
　　　　return Color.Green; 
　　　case 2: 
　　　　return Color.Blue; 
　　　default : return Color.Red; 
　　} 
　　} 
　　} 

　　可以看出这在枚举类型里定义变量和方法和在普通类里面定义方法和变量没有什么区别。唯一要注意的只是变量和方法定义必须放在所有枚举值定义的后面，否则编译器会给出一个错误。 

　　3．覆载(Override)toString, valueOf方法 

　　前面我们已经知道enum提供了toString,valueOf等方法，很多时候我们都需要覆载默认的toString方法，那么对于enum我们怎么做呢。其实这和覆载一个普通class的toString方法没有什么区别。 

　　…. 
　　public String toString(){ 
　　switch (this){ 
　　case Red: 
　　　return "Color.Red"; 
　　case Green: 
　　　return "Color.Green"; 
　　case Blue: 
　　　return "Color.Blue"; 
　　default: 
　　　return "Unknow Color"; 
　　} 
　　} 
　　…. 
　　这时我们可以看到，此时再用前面的遍历代码打印出来的是 

　　Color.Red 
　　Color.Green 
　　Color.Blue 

　　而不是 

　　Red 
　　Green 
　　Blue. 

　　可以看到toString确实是被覆载了。一般来说在覆载toString的时候我们同时也应该覆载valueOf方法，以保持它们相互的一致性。 

　　4．使用构造函数 

　　虽然enum不可以有public的构造函数，但是我们还是可以定义private的构造函数，在enum内部使用。还是用Color这个例子。 

　　public enum Color { 
　　Red("This is Red"), 
　　Green("This is Green"), 
　　Blue("This is Blue"); 

　　private String desc; 

　　Color(String desc){ 
　　this.desc = desc; 
　　} 

　　public String getDesc(){ 
　　return this.desc; 
　　} 

　　} 

　　这里我们为每一个颜色提供了一个说明信息, 然后定义了一个构造函数接受这个说明信息。 

　　要注意这里构造函数不能为public或者protected, 从而保证构造函数只能在内部使用，客户代码不能new一个枚举值的实例出来。这也是完全符合情理的，因为我们知道枚举值是public static final的常量而已。 

　　5．实现特定的接口 

　　我们已经知道enum可以定义变量和方法，它要实现一个接口也和普通class实现一个接口一样，这里就不作示例了。 

　　6．定义枚举值自己的方法。 

　　前面我们看到可以为enum定义一些方法，其实我们甚至可以为每一个枚举值定义方法。这样，我们前面覆载 toString的例子可以被改写成这样。 

　　public enum Color { 
　　Red { 
　　public String toString(){ 
　　　return "Color.Red"; 
　　} 
　　}, 
　　Green { 
　　public String toString(){ 
　　　return "Color.Green"; 
　　} 
　　}, 
　　Blue{ 
　　public String toString(){ 
　　　return "Color.Blue"; 
　　} 
　　}; 
　　} 

　　从逻辑上来说这样比原先提供一个“全局“的toString方法要清晰一些。 

　　总的来说，enum作为一个全新定义的类型，是希望能够帮助程序员写出的代码更加简单易懂，个人觉得一般也不需要过多的使用enum的一些高级特性，否则就和简单易懂的初衷想违背了。  

引自:http://www.it.com.cn/f/edu/053/29/93843.htm

yaogao@gmail.com

类与类之间存在以下关系：

1、 泛化(Generalization)

很简单，就是我们常说的继承。是说子类获得父类的功能的同时，还可以扩展自己的功能。

如图:

Java代码中表现为：extends 和 implements

2、 依赖(Dependency)

两个相对独立的咚咚(A和B)，当A负责构造B时，A与B形成依赖关系，即A使用B。

如图：

Java代码中的表现为局部变量，方法的参数，以及对静态方法的调用

3、 关联(Association)

   两个相对独立的咚咚(A和B)，当A对象持有B对象的时候，形成关联关系。

关于分为有两种特殊的形式，聚合（Aggregation）和组合（Composition），聚合和组合只有概念上的区别，在Java中的代码实现上没有区别。

聚合：指的是整体与部分的关系，如图：

组合：表示类之间整体和部分的关系，但是组合关系中部分和整体具有统一的生存期,即整体对象不存在，部分对象也将不存在，如图：

Java代码中，表现为成员变量。

4、 总结

在Java中，应该尽量优先使用组合，而不是继承，因为继承会使得类关系过于复杂化，破坏了封装性，使用组合一样可以获得已有类的功能，而且会使新类更加稳固。

实际上，从依赖 -----〉聚合--------〉组合，类与类之间的关系更加紧密，互相之间的影响越来越大，其实我们平常比较少去区分这些关系，而且事实上这东西的定义不太好理解，所以肯定会导致认识上的偏差，所以我们使用这些东西的时候，尽量靠近大家都认同的做法，这样容易让别人理解。