[发明专利]一种多维度评估软件测试有效性的方法

说明书

本发明属于软件测试领域，具体为一种多维度评估软件测试有效性的方法。鉴于软件测评有效性评价现状，该方法通过研究软件测试有效性的度量指标及度量方法，建立测试有效性度量模型，从多个维度对测试有效性进行综合度量。通过分析软件过程度量属性，建立了一个较为完善的多维度评估软件测试有效性的度量模型，选取了有针对性的度量指标和度量元，构造了基于软件缺陷及测试过程的多维度软件测试有效性的评价指标体系，构建了用于量化评价的模型，可以量化地评估软件测试工作的有效性，提升了测试评估的客观准确性，使得评价要素完整，评价模型合理。

技术领域

本发明属于软件测试领域，具体为一种多维度评估软件测试有效性的方法。

背景技术

随着软件在装备中的数量和复杂性逐年攀升，装备中出现软件缺陷的概率越来越大，软件缺陷引发的后果越来越难以承担。软件测试作为一种发现软件错误、缺陷，确保软件产品质量的有效手段，其重要性也得到广泛认可。在装备软件研制过程中，软件测试耗费了大量的资源，总体单位如何衡量研制单位和三方测评单位的软件测试有效性，确定软件测试改进的方向，逐渐成为必须考虑的问题。

目前，在装备软件测试中大多情况下都是将测试覆盖率作为衡量测试有效性的标准。但已有大量研究表明，测试覆盖率并不能保证测试的有效性，仅从测试覆盖率对测试有效性进行评价缺乏全面性和综合性，

发明内容

本发明的目的：

鉴于软件测评有效性评价现状，本发明设计了一种多维度评估软件测试有效性的方法。该方法通过研究软件测试有效性的度量指标及度量方法，建立测试有效性度量模型，从多个维度对测试有效性进行综合度量。

本发明的技术方案：

一种多维度评估软件测试有效性的方法,包括如下步骤：

步骤一：统计缺陷分布信息

收集整理软件测试过程包括自测试、模飞试飞试验、三方测评、交付使用后阶段所产生的缺陷信息；所述的自测试包括单元测试、集成测试、配置项测试、系统测试；

步骤二：缺陷信息分类

定义一个N元组模型Y₁，Y₂，……，Y_n来描软件缺陷属性，其中n≥1，Y_i(i＝1,2,…,n)为N元组的第i个分量；结合软件研制过程，对各阶段的软件缺陷信息进行分类；Y_i可取值为：

缺陷引入阶段：是指软件缺陷被引入的软件研制阶段；

缺陷发现阶段：是指软件缺陷被发现的软件研制阶段；

发现缺陷的活动：是指缺陷是如何被发现的，包括技术评审过程、测试过程、联试过程、运行维护过程；其中技术评审过程包括内部、外部技术评审，专项检查以及设备转阶段评审。测试过程包括文档审查、代码审查、静态分析、单元测试、部件测试、配置项测试、系统测试。运行和用户使用过程包括试车、通电、地面维护、运行前BIT(机内自检查)、上电BIT、周期BIT、运行中操纵检查、维护BIT；运行与维护过程的软件缺陷以故障单形式获取；

缺陷类型：是指根据缺陷的性质划分的缺陷模式，包括需求、设计、程序、其他；

编程语言：是指软件编程所用语言，包括C/C++语言、汇编语言、Ada语言、Java语言、Python语言；

缺陷根源：是指软件缺陷产生的根本原因，包括需求理解不完整、需求理解错误、功能设计不完整、功能设计错误、性能设计不完整、编码疏漏、对编程语言认识不准确、对使用环境认识不准确、对规范理解不准确、操作错误；

缺陷严重等级：是指软件缺陷对任务执行造成不利影响的严重程度，分为关键、重要、一般、改进建议；