2009-12-20

作者：彭明华

openhandx@foxmail.com

本文档中的任何部分都不得以任何手段任何形式进行复制与传播

1          前言

随着企业竞争的日益激烈，企业信息化的建设成为了关键因素，企业对计算机系统的需求越来越高，如：企业内部的ERP管理系统、决策分析系统，对外的销售及支付、客户服务系统等系统越来越多，大型企业的情况尤为复杂，单独做好一个系统或几个系统再也无法适应企业信息化建设的发展。本文要谈的是特大型企业应用，这类企业的特点是垄断、使用系统的员工上万、地域分布广差异大，对系统的功能和性能上有着极高的要求，本文从目前的企业现状、企业架构两个方面说明。

2          目前的企业现状

2.1       现状1-多个系统百花齐放

这是目前大多数企业的现状，这类企业管理层次太多，机构和部门之间的利益及关系比较微妙。采购的成品的软件系统也很难适应企业多元化的应用，因此大部分企业会选择自主开发或对成品系统本地化的大改造。这类的软件系统基本是为某个机构或部门服务的，因此系统之间层次和定位比较混乱。主要表现为以下问题：

1、各个系统设计之初相互割裂，除了特殊业务功能上的需要基本没有什么联系，后期很难实现数据共享。

2、各个系统基础数据冗余，每个都有自己的基础数据，如：组织架构、员工、产品等信息。基础数据的变化和更新涉及所有系统，并且无法做到时间上的统一和数据的一致性。给系统之间调用需要留下很多隐患。

3、系统之间的模块冗余，类似的模块且功能不一致。如：员工信息管理，产品信息管理、报表等。如：销售系统的销售报表与财务的销售报表、客户关系系统的销售报表不一致，由此产生的歧义对于特大型企业是不允许的。

4、系统对外接口混乱，系统设计最初就是独立的，没有对外系统提供接口。后来由于业务需要临时添加，造成接口不规范、重复、繁杂，并缺少监控存在安全漏洞。

5、系统难以深程度整合。基于以上问题企业会做一些整合，虽然有portal和sso等登录和界面上的用户操作整合，但是功能和数据上的深程度整合没有做到。

2.2       现状2-ERP系统为中心

这类企业业务和管理上相对规范，能统一采购成品的ERP软件系统，企业的大部分业务需求都能通过ERP系统完成。这类企业应用架构是以 ERP系统为中心，在一段时间内数据比较统一，各个模块之间协调一致。这在系统建设初期比较好，随着企业的发展原有ERP系统不能满足新的业务需求时，系统升级比较困难。不得不另外开发独立的其他系统，久而久之又形成了多个系统百花齐放难以控制的局面。

3          数据服务为中心的企业架构

数据服务为中心的企业架构是以企业的数据为核心。不管企业如何发展的，他的系统如何升级改造，数据永远是企业的核心。数据服务为中心就是要建立统一的核心数据、统一的业务规则、统一的服务接口、统一的安全管理、提供高效准确的数据、提供复用的功能、提供良好的扩展性，并与前端业务系统无缝衔接实现深程度的整合。设计采用“数据为中心、服务为依托、SOA、ESB为技术手段”的思路。

3.1       基础架构

初步建立数据为中心的企业架构，首先实现数据的统一和系统功能的一致性，满足企业日常生产运行的需要。

1、真正实现数据统一管理，基础数据和公共数据最大程度被复用，有效解决了多个系统基础数据的不一致性，为系统间的调用和数据的决策分析打下良好基础。

2、真正实现服务层与操作层的分离,数据服务组件以SOA的方式将服务发布到ESB,为操作层和其他服务组件调用提供接口。数据服务组件是企业基础业务及核心业务功能的高度抽象及实现，数据服务解决了系统间业务功能的不一致性。

3、企业数据总线ESB，是连接各个数据服务组件和服务层与操作层的桥梁，负责服务注册发布、服务查找调用、服务安全控制。应为ESB设计好统一接口协议和服务协议，保证每个系统和服务组件之间都可以无缝地互连和兼容。ESB使多个系统和服务之间的层次更加清晰，降低了他们之间的耦合度，便于服务的扩展。

4、 前端系统主要功能是为用户提供良好的界面，提供个性化方案，便于用户录入数据及数据展现。同时又为数据层提供高质量的业务数据。作为操作层的前端系统通过ESB能调用任何组件提供的数据服务，因此前端系统的功能可以做得非常强大。

3.2       完整架构

完整架构增加了安全控制层，抽象出更高程度的企业门户，核心服务增加了更多的技术服务组件。同时也部署了地方级服务器。

1、更多的技术服务组件是为了满足特大型企业的对数据挖掘分析、科学计算的要求。如：异步批量服务、云计算服务等。

2、安全控制层的安全控制有别于ESB的安全控制，安全控制层主要控制在用户层面，并能根据接口提供的信息自动完成用户登录，创建会话令牌。ESB服务会根据令牌信息，控制该用户访问的数据权限及操作权限。

3、企业门户不仅仅是统一用户登录或菜单界面的整合。首先企业门户整合了所有的业务系统，就象一套系统能完成所有的企业日常办公，如：采购、生产、库存、销售、收付款、邮件、OA等。其次企业门户提供富客户端满足复杂操作的业务，如：生产制造系统，数据决策分析系统、邮件系统、多媒体系统。

4、地方级服务器解决两类问题，一个是对数据缓存减少网络带宽，数据交换服务能自动完成与数据中心服务的数据同步，尤其是大型只读类的数据，如：多媒体数据、报表、邮件等，另一个是允许各地部署自己的特色业务系统，满足各地多元化的个性需求。

3.3       数据共享策略

数据共享一直是企业关心的，如何满足不同系统、不同人群个性需求又要保证数据安全一直是最大的难题。数据共享有三个层面的问题需要解决：

1、请求的数据格式。是指请求发起方对接受方返回数据结果的样式要求，如：Excel、PDF、XML、数据对象以及他们的填充样式。这个问题可以双方预先定义好格式的约定或模板，由发起方提供自定义的模板来解决，再由接受方将数据按照模板填充并返回。

2、请求的数据内容。是指请求发起方对接受方返回哪些数据，以及数据颗粒度的要求，如：某个机构的销售数据（按照天、产品、子机构等维度）、某个部门的损益数据（按照天、科目、人员等维度）。这个问题可以双方预先定义一套语言或脚本，由发起方提供请求数据的脚本，再由接受方解析脚本返回数据。

3、数据安全控制。是指请求接受方根据发起方的身份返回他所能看到的数据，或者说发起方是否能得到请求的数据。这个问题是由根据企业架构中安全数据组件服务来解决。

也许您用过cognos等数据挖掘工具，但我很遗憾的告诉您那只是一个功能强大的自定义报表展现工具。

数据挖掘（DM，Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的，但又是潜在的有用信息和知识的过程。还有很多和这一术语相近的术语，如从数据库中发现知识（KDD）、数据分析、知识抽取、商业智能、决策分析等。 这里最重要的不仅是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观或宏观的统计、分析、综合和推理，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。

数据挖掘的数据来源

1、关系数据库：日常运行的业务系统拥有大量的数据库

2、数据仓库

3、事务数据库：把一个或几个事务数据库集中到一个只读的数据挖掘库

4、高级数据库及高级数据库的应用：CAD空间数据库、文本数据库、空间数据库、多媒体数据库等

数据挖掘的体系结构与运行过程

代	特征	数据挖掘算法	集成	分布计算模型	数据模型
第一代	数据挖掘作为一个独立的应用	支持一个或者多个算法	独立的系统	单个机器	向量数据
第二代	和数据库以及数据仓库集成	多个算法，能够挖掘一次不能放进内存的数据	数据管理系统，包括数据库和数据仓库	局部区域的计算机集群	有些系统支持对象、文本和连续的媒体数据
第三代	和预言模型系统集成	多个算法	数据管理和预言模型系统	Internet/Extranet网络计算	支持半结构化数据和Web数据
第四代	和移动数据/各种计算数据联合	多个算法	数据管理、预言模型、移动系统	移动和各种计算设备	普遍存在的计算模型

数据挖掘的分类

1、分类分析：主要用于预测模型，通过数据库中的某些数据得到另外的数据为目标。分类算法通过判断数据记录的属性与已知训练数据中风险程度的关系给出预言结果

2、聚类分析：聚类用于从数据集中找出相似的数据并组成不同的组。与前面的预测模型不同，聚类中没有明显的目标变量作为数据的属性存在。聚类算法通过检测数据判断“隐藏属性”

3、关联规则：目的在于生成部分数据的概要，寻找数据子集间的关联关系或者一些数据与其数据之间的派生关系

4、人工神经网络

5、遗传算法

6、模糊集和模糊逻辑

7、可视化方法

数据挖掘的步骤

1、问题定义：明确实际工作对数据挖掘的需求、通过对各种学习算法的对比而确定可用的学习算法

2、数据收集和预处理：数据准备、数据集成、数据清洗、数据变换、数据简化

3、数据挖掘算法执行：确定挖掘任务后，就要决定使用什么样的算法。选择实现算法有两个考虑因素：一是不同的数据有不同的特点，因此需要与之相关的算法来挖掘；二是用户或实际运行系统的要求

4、结果的解释和评估：数据挖掘阶段发现出来的模式,经过评估，可能存在冗余和无关的模式，需要将其剔除。也有可能模式不满足用户要求，这时需要整个过程回退到前一阶段

数据挖掘与OLAP

       数据挖掘与OLAP都属于分析型工具，数据挖掘是一种挖掘型工具，它能自动地发现隐藏在数据中的模式，作出预测性分析的分析工具，它的分析过程是自动的。用户不必提出确切的问题。数据挖掘所处的位置较深

       OLAP是自上而下、不断深入的分析工具，并以可视化的方式呈现给用户。OLAP更多依靠用户输入问题和假设，但用户先入为主的局限性可能会限制问题和假设的范围，从而影响最终的结论。OLAP位于较浅的层次

    尽管数据挖掘与OLAP存在着上面的差异，但二者相辅相成


Open View 决策分析平台会在2010-2011年推出