posts - 193,  comments - 520,  trackbacks - 0
 

又是一年,坐在因为新年而显得空旷的办公室里,手边是图灵刚刚出版的一本访谈录《编程人生》,翻看了几页,我想说的是:那不是我们的生活,几岁就开始编程,十几岁就有了自己的软件公司,这种事情太过遥远。我们的生活是这样的:朝九晚五,经常加会班,会为了一个程序问题而抓狂,也会为了一个程序问题而狂喜,周末时候喜欢宅在家里,或者玩会游戏或者继续编程,日益感到生活的压力,曾经引以为豪的职业其实非常普通,为房子苦恼,依旧梦想通过技术创业。是的,这才是我们的生活,我们只是普通的程序员。


那么,我该做点什么呢?是的,写点什么吧。一直以来,我的梦想就是能够写自己的小说,高中时,在当地杂志和报纸上发表过几篇文章,那时的目的很单纯,就是想引起喜欢女生的注意;大学时,开始疯狂的看小说,最喜欢的是余华,他的文字能让我在合上全书时发出长长的一声的感叹;大三时,突然开始自己写了篇中篇小说,给北京文学投稿,没有回应,于是发表在了榕树下;工作了,身边充斥着的是厚厚薄薄的技术书籍,小说开始变得遥远,但我依旧能够时常记起那些温暖过我的小说人物们;现在,我越来越发现,我们生活在一个很小说的年代,而现在的小说们,却源自生活低于生活,在穿越在科幻,我想,这正是个写小说的好年代,你不需要加工,生活本来就是小说,荒诞而黑色。


于是,就有了这篇《张小庆,在路上》的小说,计划分为四卷,分别是:开始、奋斗、迷茫和平淡,它讲述了一个普通程序员的生活,一个处于社会底层的小人物,他的喜怒哀乐,他的生活。


为什么要写这篇小说,理由很多,但我想最重要的是:喜欢!我不想在我老去的时候,对我孙子说,知道吗,你爷爷年轻的时候文章写得很好,如果那时写小说去了,一定是个大作家。这话听起来就很虚伪,给人一种生不逢时的感觉,但是去他妈的生不逢时,与其那时后悔,不如现在开始,来吧,在路上的张小庆。

 

posted @ 2011-02-28 22:28 ronghao 阅读(1607) | 评论 (6)编辑 收藏
     摘要:   阅读全文
posted @ 2010-09-19 22:03 ronghao 阅读(2267) | 评论 (4)编辑 收藏

项目上线,有时间总结一下当前的项目,对自己而言,一直是一个学习的过程。本篇总结我们的测试实践。本文分5部分,分别是:项目背景、系统架构与模块划分、我们的测试实践、自动化测试在项目中的价值与对自动化测试的进一步思考。

一、项目背景
所有对项目的介绍一定是从客户开始。
客户:我们的客户是一家全球领先的时尚内容提供商,通过遍布全球的员工,客户每天获取大量关于时装发布、产品设计、街边流行、城市热点等信息,这些信息的绝大部分以图片的形式上传到公司服务器,然后由专职编辑对这些图片进行整理和归类(打标签),最后再由设计人员根据这些信息书写分析报表。
关键内容:分类细致的海量高清图片和具有前瞻性的分析报表。
商业模式:网站,行业内用户订阅-付费。
客户面临的问题:同质化竞争、客户流失。
新系统的关键词:CMS、更精确的内容分类、更好的全文检索、更好的用户体验(更有表现力的内容展现)、更快的内容发布。

二、系统架构与模块划分
1、REST的架构风格
系统采用了Sling作为WEB框架,JCR作为了底层内容存储框架。
系统的特点:
URI唯一标识资源
通过URI能够直接映射到JCR节点,例如http://localhost:80/content/section/news.html能够映射到JCR里的/content/section/news节点

GET/POST/DELETE标准方法对资源进行操作
支持标准方法对资源的直接操作

资源的多重表述
同一资源可以存在多种表述形式,例如http://localhost:80/content/section/news.html展现网页,

http://localhost:80/content/section/news.json展现资源信息的JSON描述,
http://localhost:80/content/section/news.pdf展现网页的PDF。

服务器端的无状态
通过JS获取当前用户信息并缓存在客户端。

2、系统分层
系统分为四层:JS、Servlet、Domain Model和JCR。
因为JCR提供了一套节点模型,所以Domain Model是在节点模型上的行为增强,例如所有对图片节点的操作我们封装在Asset领域模型里。
系统分层

3、程序划分
程序分为两个大的模块:Migration和Bundles。为什么叫Bundles?因为Sling使用了OSGI框架Felix。
Migration负责导入客户的遗留数据到新系统。之前客户的CMS运行已有10多年的时间,积累有大量数据。主要是各种类型的报表和图片。
Bundles实现系统功能。主要包括了定义报表模板、定义报表各种所见即所得的展现组件、实现对图片的管理、搜索(包括基于图片的可视化搜索)和其他七七八八。

三、测试实践
1、Migration的测试
  自动化测试

对Migration,我们采用了TDD的方式。
输入是客户实际提供的xml文件,输出是JCR里的节点。测试环境的搭建主要是在本地建立起Jackrabbit实例。我们的工作方式是这样:每天早上领到一张migration故事卡,然后先写一个xml到jcr节点的集成测试描述出该类型报表的功能需求,接下来就是让这个测试通过。经过开始阶段的熟悉过程,我们的速度保持在一对Pair一天一种报表类型的导入。

   手工测试
将xml文件内容正常解析并导入JCR只是第一步,第二步我们需要在Bundles里为该类型的报表编写模板使之正常展现。由于涉及到报表样式,这个测试我们采用手工测试,这个工作也是QA工作的重要一部分。
在最开始的开发中,我们没有导入所有报表数据进行测试。这带来了问题,由于客户遗留数据跨越10多年,各种数据形式都可能存在(特别是04年以前数据,给UI带来了很大挑战),而最开始的开发中,我们只是使用了部分数据(09、10年数据)进行测试,这个导致了建立UAT环境时程序的很多返工以及QA的测试压力。

2、Bundles的测试
自动化测试

对领域模型,我们采用了TDD的方式进行单元测试;在本地Jackrabbit实例里建立数据,领域模型封装数据测试行为。
对servlet,我们采用了TDD的方式进行集成测试(同时测试了servlet和领域模型),在测试中对request和response进行mock;
对JS,我们使用数据驱动的selenium功能测试进行覆盖。

测试覆盖

我们最后的自动化测试结构:
测试的分层

手工测试
手工测试内容主要是功能测试。
自动化测试价值低的部分我们采用手工测试,这部分内容包括报表模板,相对独立,内容不多,一次测试处处通过;
自动化测试成本高的部分我们采用手工测试,这部分内容包括报表展现组件的编辑功能,因为采用了Ext JS,所以自动化测试困难;
无法自动化的测试:报表在线生成PDF,报表样式,WEBDEV批量上传图片等;

我们与QA的约定:
每完成一个用户故事,我们会与QA、BA一起mini showcase;
QA验收完成后编写功能测试用例;
我们对QA编写的功能测试用例进行自动化,共同维护一个功能测试列表;
对于不能自动化或自动化价值不高的测试用例QA继续使用手工测试。

四、我们感受到的自动化测试价值
1、通过自动化功能测试,我们使得需求对客户可视化;
2、QA的回归测试成本降低,尽管目前频繁的向客户实际使用环境部署,但QA每次部署只需要做一些简单的冒烟测试;
3、测试即需求,这点在TDD的开发过程中感觉非常明显,今天开发的目的就是使这个测试通过,避免了频繁部署到应用中进行测试,最快的电梯不是速度最快的电梯,而是中间停的楼层最少的电梯;
4、与持续集成一起,及时反馈。这点在进行JS代码编写时,心理上都非常依赖于selenium测试,对于没有测试覆盖的地方,没有安全感;
5、足够的单元、集成测试保证了频繁重构,没有人愿意引入BUG,没有足够的测试,没人愿意重构;
6、测试即文档,良好的测试和命名,使得新加入的成员非常容易理解当前代码的功能。

五、思考和讨论
1、自动化功能测试做到多少才合适?
当然是越多越合适,问题在于自动化功能测试成本要大大高于单元测试和集成测试,这些成本反映在测试环境的搭建、数据的准备,需要准备其他很多关联数据例如用户信息和权限信息、自动化功能测试的运行时间长、稳定性(随机成功/失败)、编写等等,需要权衡成本与收益。
个人认为,自动化功能测试需要考虑的着重点包括:页面是否包含大量功能交互性JS(与展现性JS相对)?当前功能是否与其他功能共享一些代码?即独立性,独立性越低越需要着重覆盖(这里又涉及到另外一个问题,即从各个模块里重构出共用代码是否总是合适?)。QA每次冒烟测试时是否需要重复回归(重复回归次数越多,自动化越有价值)?经常失败的测试一定比不失败的测试价值更高?或者从未失败过的测试就没有价值?

2、单元测试?功能单元测试?
TDD的测试粒度多大才合适?从我个人而言,几乎天然的反对mock,为了满足测试覆盖率的追求,强制将两个联系很紧密的类分开,做出各式各样mock,这真让人气馁;stub也不是什么好东西,在一个曾经的spring项目里,在测试目录里,一堆一堆的测试xml配置文件让人有种呕吐的感觉。那就做集成测试吧,两个类关系很好,那么就整体测试它们的输入和输出,看起来很不错,功能实现了,测试也没多写,也不用准备太多其他东西,但是打开实现代码,你就发现那个丑陋,到处是复制和粘贴,是啊,不管黑猫白猫抓住老鼠就是好猫,只关注了当前结果,完全失去了TDD驱动简单设计的好处。

3、测试的重点是测试用例的设计,它反映出对需求的理解
那么结论就很明显,我们如果连需求就没有理解,如何进行实现,所以测试驱动是很自然的。

posted @ 2010-06-16 21:13 ronghao 阅读(2382) | 评论 (0)编辑 收藏


正如语言是人之间的沟通方式一样,数据是IT系统之间的沟通方式,语言之间的沟通总是最有效的,数据交互却未必,因为IT系统里的数据除了让计算机理解外重要的是还需要人理解。在这篇文章里,我们将讨论工作流系统里的数据,从数据角度分析工作流数据的分类以及不同的应用场景。

 

一、工作流系统的应用场景

在正式开始对工作流数据的讨论之前,首先对工作流系统的应用场景进行讨论是必要的,因为工作流数据脱离不开工作流系统这个大的上下文。目前,工作流系统的应用主要有两种方式:

1、    将工作流系统嵌入到业务系统中使用。此时工作流系统作为内部组件对业务系统进行流程逻辑的横切。试想一个需要多人处理的电力缴费流程,在引入工作流系统之前,我们需要为每个业务表单设置一个状态位,以此来进行业务处理状态的跟踪。如果流程固定,那么这样做并没有什么不好,例如财务软件、海关报关软件等,它们的流程虽然复杂但是不常改变,此时就没有必要引入工作流系统。但是对于另外一些情况,例如制造业的订单处理、库存管理、政府的协同办公等,流程经常需要定制修改,此时如果继续由业务系统自己处理流程逻辑那么成本将会很高。

2、    使用工作流系统进行业务系统的集成。在上规模的企业里,很多流程会涉及到不同的业务功能,例如报价、订单审核、资产核准、绩效评估等,这些流程经常会跨越不同的部门和业务系统。因为不同企业都有自己所采用的业务系统、组织机构以及最佳的业务协作方法,所以这些流程基本上也随企业而异。工作流系统此时扮演的就是集成角色,由其通过定制流程将这些业务系统撮合起来,实现企业内各部门、客户间的信息流动和协作。

在第一种应用场景下,工作流系统作为业务系统的内部横切组件出现,作为横切组件,工作流数据仅仅包括与流程逻辑相关的数据以及其他必需数据,这些数据包括工作流控制数据、工作流相关数据以及需要通过流程传递的业务数据。

在第二种应用场景下,由于不同业务系统之间的数据传递很大程度上依靠工作流系统,所以这些数据被封装为SDO在不同WEB服务间传递,需要注意的是,这些数据并不在工作流系统中存储。

        在下面的工作流数据分类中,我们将详细分类这些工作流数据。

 

二、工作流数据的分类

提到工作流数据,就不得不提业务数据。作为最直接的区分,我们将存储于业务系统中的数据称为业务数据,将存储于工作流系统中的数据称为工作流数据。根据WFMC定义,我们将工作流数据分为工作流控制数据和工作流相关数据。

1、  工作流控制数据。指被工作流系统管理的系统数据,这些数据包括了与流程实例和任务实例相关的执行数据,例如流程实例的状态、执行时间等信息、任务实例的执行者、执行时间、状态、紧急程度等。

2、  工作流相关数据。指与业务流程相关的数据。工作流相关数据又具体分为3种:

·         影响流程实例执行的业务数据。在WFMC中,这个数据被描述为:工作流系统通过该数据来确定流程实例的流转条件,并选择下一个将执行的任务,这些数据可以被业务系统访问并修改。例如报销流程中的“报销金额”,这个数据会决定该流程的审批路径;再例如为任务设置的超时时间,这个数据会触发任务的取消。实质上这些数据就是工作流系统需要依赖于进行流程流转的业务数据。

·         契合业务的关联数据。指工作流系统与业务系统进行关联的数据,例如特定于WEB系统,工作流系统会在每个流程实例里保持有导航至对应业务表单的URL

·         传递作用的业务数据。当流程跨越多个业务模块时,需要在模块间传递数据,此时会利用工作流系统进行传递,会在工作流系统里暂时存储这些业务数据。

那么,工作流数据有哪些应用场景呢?

 

三、工作流数据与业务上下文

工作流数据最重要的职责之一就是为业务系统的不同应用场景建立起与之对应的业务上下文。

什么是业务上下文?

我们知道,IT系统是对企业现实业务的映射。在一个翻译公司的典型业务场景中,校对人员对翻译人员提交的翻译文档进行审校,此时,校对人员持有翻译人员翻译后的文档,他需要对该文档进行检查,产生新的审校文档并反馈翻译人员的翻译质量。那么,映射到IT系统里,校对人员的任务通常对应于一张需要处理的业务表单,业务表单里会展现他进行当前工作所需要的数据:翻译文档、翻译人员信息、该校对工作的紧急程度等,另外,在这张表单里,他所能进行的操作也根据他此时的职责作出了行为限定:例如他可以上传新的校对后的文档,但是不能删除已有的翻译文档等。如下图1所示,业务表单实质上反映的是此刻我们能获取哪些数据以及能够如何处理这些数据,我们把它称之为业务上下文,可以看到,在IT系统里,业务上下文实质上等于数据加上行为。

企业业务由一系列相互关联的业务场景组成,这些业务场景对应于IT系统里的业务上下文,而业务上下文的本质则是数据加上行为。数据和行为的不同决定了业务上下文的差别。这与现实中的工作相符,人们根据获取/处理信息的不同,担负不同的职责。 


 1与应用场景对应的业务上下文

工作流数据如何建立业务上下文呢?看一个简单的例子。

在实际应用工作流系统进行开发时,我们经常会碰到这样的问题:同一流程中的不同任务对业务数据拥有不同的权限,如下图6-9所示。



 6‑9与流程相关的业务数据权限

上图中,在执行请假申请任务时,申请者可以编辑请假人、天数和原因3个字段;而到审批任务时,审批者增加了一个可编辑的审批意见字段,但其余3个字段变化为只读字段。我们将这类问题统称为与流程相关的业务数据权限控制。

产生这类问题的原因是什么呢?原因就在于在一个业务流程里,不同的任务具有不同的业务上下文。如下图6-10所示,不同的任务展现不同的数据,并具有不同的行为。


 6‑10任务与业务上下文

IT系统的设计实现中,数据的建模是通过领域模型实现的。在工作流系统的嵌入式应用中,流程实例即是通过与领域模型相关联实现与业务契合的。那么,图6-10可以进一步泛化为图6-11,流程中任务通过获取领域模型不同的部分实现业务上下文的界定。


 6‑11领域模型与业务上下文

在大部分的业务流程建模中,一个流程模型只与一个领域模型关联

那么,回到最初的问题上,如何处理此类权限问题呢?答案非常明了:由领域模型实现对业务上下文的切分,工作流系统通过契合业务的关联数据与业务上下文挂接,保持工作流系统的单一职责。


 6‑12流程相关的业务数据权限控制

如上图6-12所示,我们在业务系统里引入业务权限角色的概念,通过该角色隔离开工作流系统与业务数据权限,即我们认为业务数据权限的管理属于业务系统范围(由业务系统具体实现),更进一步,我们认为其属于领域模型的职责范围。在定义好业务系统的权限角色后,我们通过任务级别的工作流变量将流程中的具体任务与业务权限角色绑定,这样就实现了流程任务与业务数据权限的挂接。

在上面的例子中,我们看到的是利用关联业务的工作流数据界定任务级别的业务上下文,这是一种最简单的工作流数据应用场景。在不同应用中,我们可以看到,工作流数据一个重要的职责就是为业务流程里的任务/流程建立业务上下文,实现数据的聚合。在简单的应用场景里,对一个流程实例而言,这些数据可能只对应于一个领域模型;对流程实例里的一个任务实例而言,这些数据对应于领域模型的一个切面。复杂一些的情况,业务上下文需要跨越多个领域模型甚至多个业务系统,这时我们可以看到,通过工作流系统能够显著降低业务系统建模的复杂性,因为这些数据聚合工作可以有效分派给工作流系统承担。同时,我们需要保持工作流系统的单一职责,工作流系统只保存与业务数据进行关联的关联数据、必需的业务传递数据以及自身的执行数据。


 6‑29跨系统的业务上下文

 

 

四、工作流数据与数据分析

工作流数据的第2个应用场景是对业务流程执行进行数据分析,这部分的数据主要是工作流控制数据。这一部分正受到越来越多的重视,是未来工作流系统的发展方向。


 6‑48外部环境从流程实例拉数据进行分析

 

这里有两个典型的应用例子:

例子1在对报销流程进行分析时,我们发现大部分的报销金额都低于500元,然而这些报销流程却都要经过很多环节,在与客户确认后,我们将低于500元的报销限定于部门内部审批即可,这样对个人来说大大加快了报销过程,对公司来说则省下了很多的办公成本。

例子2,在制造流程里,很重要的一点是需要控制流程的节拍时间,即流程里各个任务的完成时间要一致,如果有一项任务的时间多于其他任务,那么很快就会形成瓶颈,造成在制品的大量积压,前续的任务完成很快,中间忙死,后续任务执行者却无事可做,更重要的是,不能对客户进行快速交付。

 

 

五、工作流数据与流程路由

最后一种应用场景非常常见,这部分数据即影响流程实例执行的业务数据,直接上图:


这部分影响路由的一定是业务数据,它们保存到工作流系统里对流程路由产生影响。这种影响不限于任务的选择,还包括的任务的执行条件、任务的完成条件、基于数据的任务触发等。

 

六、工作流数据小结

总结一下,作为区分,我们将存储于业务系统中的数据称为业务数据,将存储于工作流系统中的数据称为工作流数据。

工作流数据分为两种:工作流控制数据和工作流相关数据。其中工作流相关数据又分为3种:影响流程实例执行的业务数据、契合业务的关联数据和传递作用的业务数据。

工作流数据的应用场景:为流程/任务建立业务上下文,这部分数据主要是契合业务的关联数据和传递作用的业务数据,这是工作流数据最重要的职责之一;数据分析,这部分数据主要是工作流控制数据,这是未来工作流的发展方向;影响流程路由,这部分数据人如其名,是影响流程实例执行的业务数据。

实际应用中,我们一定要保持工作流系统的单一职责,例如划分任务权限这个需求,一定需要业务系统自行实现权限的界定,工作流数据仅仅进行挂接。

 

 


posted @ 2010-05-23 22:17 ronghao 阅读(2488) | 评论 (1)编辑 收藏

PDF噩梦

在之前的一段时间里,只要一提起PDF,我就会头晕,然后是头疼,最后是头大,总之是和头相关。需求很简单:为所有报表提供在线生成PDF版本的功能,这样网站用户在浏览报表时就可以下载离线浏览。对不住了,开源软件,我不得不说,慎用开源软件,慎用!痛苦的查找论坛、痛苦的翻看源码,最后,在支付了200欧后,痛苦消失了,我们购买了商业软件,200欧兼容了更多的网页结构,200欧具有更快的速度,200欧带有一年的技术支持,最最重要的是,200欧,客户出的。

这不是这里的关键,问题是,200欧后,我遇上了新麻烦:报表的PDF版本样式不正确,不正确的原因是图片下方的文字将图片的排列样式弄乱了(图片大小不规则,字数不规则)。在网页中,DOM渲染完毕后,我们使用JavaScript来进行图片与文字高度的重计算,但在PDF中,我们束手无策。

我问BA,可以容忍部分图片排列不整齐否?不出所料。

怀有侥幸,我继续问BA,可以容忍部分文字丢失否?BA说,不可以。意料之中。于是找到徐昊。

徐昊问BA,这些说明文字对客户如此重要吗?

BA说,是的。

徐昊说,为什么?它主要有哪些内容?

BA说,有标题,简单说明以及图片的版权信息,最重要的就是版权信息,一定不能丢失。

徐昊说,能不能这么说,其实对客户最关心的是版权信息。

BA说,是的。

于是问题解决。解决方案是:我们给文字定高,同时将文字缩小以容纳最可能多的字数,这样网站用户在PDF里看到的图片重新恢复了整齐,尽管看不太清图片说明文字,但是用户真正关心的是图片,谁关心哪些无处不在的版权信息呢?你可能会说了,看不清版权信息怎么行?幸好,你问的不是,版权信息有那么重要吗。回答是,这里是PDF,移动你的鼠标到Zoom,点击下拉框,点击150%以上的选项,然后,你会惊讶的发现,那些该死的版权信息到处都是。

BA的职责是帮客户发现的问题,开发人员的职责是解决问题,QA的职责是校验最终的实现是否能够解决客户的问题。具体到一个用户故事上,就是BA编写用户故事,DEV编码开发,QA验收用户故事,这是三个任务,很明显,这三个任务有一个非常重要的共享信息,这个信息就是用户故事所要实现的客户价值(即帮客户解决的问题)。围绕着客户价值,每次迭代开始前,团队都会进行迭代计划会议,所有成员会跟随BA逐一审核各个用户故事;围绕着客户价值,开发人员开发中随时可以和BA进行沟通,就设计问题进行讨论;围绕着客户价值,开发人员每开发完成一个故事,BA、开发人员和QA就会在一起进行一个微型 ShowCase,在期间讨论用户故事的实现是否实现了客户价值,大家对用户故事的理解是否一致。

那么,在相关的任务之间需要能够定义变量,这些变量数据能够在这些任务间共享。

 

描述

一定的任务范围能够定义变量,在一个流程实例里,该范围所包含的任务实例能够使用该变量。


6-4任务范围级别的数据可见性

如图6-4所示,我们划定了一个任务范围,该范围包含了任务A、任务B和任务C,同时,我们在该任务范围内定义了一个变量M,那么,在一个流程实例里,只有任务ABC的实例在运行期能够使用该变量,任务DE的实例都不能访问,不可见。

 

可以看到任务范围和块任务在概念上比较相似,都是包含一系列的子任务,它们之间的差别在于:块任务一般具有比较独立的执行上下文和业务语义,而任务范围则是对具有相同执行上下文的任务的一种分组。

在工作流系统里,对流程任务进行分组的好处在于:可以为特定的一组任务绑定数变量、异常处理器和补偿动作。例如在图6-4中,如果任务ABC中的任一实例执行失败,那么我们就认为整个任务区域执行失败,将统一执行一个业务补偿行为,同时,这些任务共享一个异常处理器。

实现

jBPM4里,流程定义模型相比jBPM3最大的变化即是引入了任务嵌套的概念,一个任务能够包含多个其他任务,这里的父任务即可充当任务范围的定义。jBPM4针对这种嵌套的任务建立了一套处理机制,总的来说就是建立任务运行期的嵌套关系,查找变量时首先会在任务级别进行查找,如果找不到,则会依次向上查找父任务实例,直至流程实例级别变量,同时,父任务可以统一绑定异常处理器和事件动作。在后续jBPM4的章节,我们将会详细分析该机制的实现细节。

posted @ 2010-03-22 22:26 ronghao 阅读(1603) | 评论 (0)编辑 收藏
仅列出标题
共39页: First 上一页 6 7 8 9 10 11 12 13 14 下一页 Last 
<2024年4月>
31123456
78910111213
14151617181920
21222324252627
2829301234
567891011

关注工作流和企业业务流程改进。现就职于ThoughtWorks。新浪微博:http://weibo.com/ronghao100

常用链接

留言簿(38)

随笔分类

随笔档案

文章分类

文章档案

常去的网站

搜索

  •  

最新评论

阅读排行榜

评论排行榜