qileilove

blog已经转移至github,大家请访问 http://qaseven.github.io/

软件测试质量和效率评价之我见

 写在前面

  近期在研究如何提高软件测试质量和效率,发现要完成这个课题,先要搞清楚如何评价软件测试质量和效率?搜罗了不少资料,木有找到权威的说法,于是结合自己的经验进行了总结,便得此文,愿抛砖与业界朋友探讨。

  软件测试质量和效率评价的范畴

  原本打算将软件测试质量和效率分别评价,但基于软件测试不可穷尽的特点,以及测试时间总是那么紧张的现实,更多的时候我们需要在质量和效率之间加以权衡,在有限的测试时间内得到可用的系统或产品。因此,质量和效率有着相互制约的关系,但对于一个系统或产品的测试来说,质量和效率都是衡量测试是否成功的指标,索性放在一起讨论。

  经过分析,我认为一个测试效果的好坏可以从以下四个大的方面进行评价,如图1:

  1、测试质量评价:对测试产出及结果的评价,评价比重30%

  2、测试效率评价:测试过程中若干项工作的效率评价,评价比重30%

  3、测试文档评价:测试文档质量的评价,包括对测试方案、测试设计、测试用例、缺陷报告单、测试报告等文档的评价。评价比重25%

  4、测试过程评价:对测试中若干过程执行情况及效果的评价,包括文档评审、测试沟通、执行过程等评价。评价比重15%

图1 测试质量和效率评价

  详细评价指标

  详细评价指标参考下表:

表1:测试质量和效率评价指标


 下面详细解读各指标含义及评价标准。

  测试质量评价

序号 评价指标 指标含义指标解读   备注
1有效Bug比例
有效Bug数/总Bug数

所提Bug有效率越高,说明测试工作越有效,所作无用功越少。
不太赞同用Bug数衡量测试质量。
 2 严重Bug比例严重Bug数/有效Bug数 严重Bug所占比例越高,表征测试越有效,对系统帮助越大。  
 3 漏测Bug加权数 漏测Bug*严重系数之和漏测Bug加权数越高,表征测试质量越低。 因项目周期、用户缺陷反馈渠道等问题,漏测Bug的统计可能遇到障碍。

  测试效率评价

序号 评价指标 指标含义 指标解读 备注
 1 工作按计划完成率1-(实际耗时-计划耗时)/计划耗时 工作能够按照计划完成,表征测试过程控制合理,测试效率也得以保证。 前提是需要一份完整且可执行性强的测试计划。
 2 日均有效Bug加权数有效Bug加权数/测试工作日 日均有效Bug加权数越多,表征工作效率越高。  更适合于对个人工作效率的评价,因为需要横向对比。
 3 测试文档生产率文档页数*难度系数/撰写文档耗时 单位时间产出文档越多,表征文档生成效率越高。 文档质量单独评价,见下节。
 4 文档评审效率(评审建议数+问题数)/评审耗时 单位时间内评审出问题越多,表征工作效率越高。 

  测试效率评价

序号评价指标 指标含义 指标解读  备注
 测试计划文档质量测试计划的规范性,及指导测试的作用是否达到。 测试计划体现测试人员对任务量估计、分工及风险的预估能力,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。 测试文档的质量从某种程度上反映着测试的质量。 
 2测试方案文档质量 测试方案的规范性,及指导测试的作用是否达到。测试方案体现测试人员对项目测试整体的把握能力,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。  
 3测试设计/用例文档质量 测试设计和用例文档的规范性,及指导测试的作用是否达到。 测试设计和用例体现测试人员的用例设计水平,即解决测试问题的水平,文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。  
 4 缺陷报告单质量缺陷报告单的规范性和有效性。 缺陷报告单越规范、越有效,对测试问题定位帮助越大。  
 5 测试报告文档质量测试报告文档的规范性,及指导测试的作用是否达到。 测试报告体现测试人员归纳、总结测试数据,呈现测试结论的能力。文档越规范、越有效,说明文档质量越高,该项工作的质量也越高。  

  测试过程评价

序号 评价指标 指标含义 指标解读 备注
 1需求&设计评审过程评价 从流程执行的规范性及评审效果两方面评价。评审过程按流程要求进行,评审对需求和设计的帮助越大,说明该项工作质量越高。
 2测试沟通过程评价从测试沟通过程的规范性及沟通结果进行评价。测试沟通按流程要求进行,沟通对形成测试方案和测试设计的帮助越大,说明该项工作质量越高。 
 3测试方案&设计&用例评审过程评价 从测试方案、设计、用例评审的过程及效果两方面进行评价。各评审过程按流程要求执行,评审出的问题越多、帮助越大,说明该项工作质量越高。 
 4 测试执行过程评价从测试执行的规范性及效果进行评价。测试执行规范,分工协作有效,沟通及时到位,进度及时通报,测试风险及时化解……说明该项工作质量越高。 

  评价注意事项

  1、评价虽应尽可量客观,但无法避免主观因素。主观评价有时也是最直接、最简单的评价方式,因此,建议可以主观客观结合去评价,但应以客观评价为主。

  2、评价指标的收集,往往需要有效的统计数据来源,因此,要评价,还需要建立评价数据的收集机制。

  文章写的比较简略,如需讨论欢迎留言。

posted on 2012-05-24 09:18 顺其自然EVO 阅读(276) 评论(0)  编辑  收藏


只有注册用户登录后才能发表评论。


网站导航:
 
<2012年5月>
293012345
6789101112
13141516171819
20212223242526
272829303112
3456789

导航

统计

常用链接

留言簿(55)

随笔分类

随笔档案

文章分类

文章档案

搜索

最新评论

阅读排行榜

评论排行榜