[发明专利]软件测试自动评价装置以及方法

说明书

技术领域

本发明涉及软件测试自动评价装置以及自动评价方法。

背景技术

作为本技术领域的背景技术，具有特开2006-146669号公报（专利文献1）。该公报中记载了如下内容：“提供一种即使在不公开组件的源代码的情况下，或者仅使用组件中的限定函数的情况下，也能够高精度进行所利用的代码的覆盖率（coverage）的测定的覆盖率测定系统以及覆盖率测定方法及其程序”。

专利文献1中，记载了用于通过测定源代码的覆盖率，验证是否充分地进行了软件测试的机制。

但是，仅通过源代码的覆盖率，无法保证充分地进行了软件测试。例如，在源代码中存在有分支处理的情况下，虽然能够通过覆盖率明确对分支双方的情况进行了测试，但是通过覆盖率无法确认对分支处理的分支条件是否正确（通过边界值测试等）进行了测试。

另外，在判定为软件测试不充分时，仅通过源代码的覆盖率的数值，无法了解缺少什么样的测试。在软件开发中，根据开发阶段、测试对象软件的特性，此外根据缺陷的风险等条件，有可能省略一部分测试。为了评价软件测试，必须能够了解缺少什么样的测试，与打算进行的测试内容进行比较。

此外，专利文献1中，在进行基于组件的软件的组合开发时，不仅对于开发对象组件，对于开发对象组件所利用的组件，也通过测定源代码的覆盖率来测定测试的可靠性。但是，在基于组件的开发中，不应该进行深入到利用组件的细节的分析，而应该仅仅进行与外部规格的分歧的确认。否则，以组件为单位的开发的分工边界被打破，无法享受到组件化的优势。

特开2006-146669号公报

发明内容

因此，本发明的目的在于，基于将软件的动作或结构上的特征、性质与对于该软件妥当的测试技术、测试手段相对应的信息即“测试观点”，判定软件测试是否不足并通知给利用者，此外在不足的情况下还对利用者通知需要追加什么样的测试的信息。

为实现上述目的，采用如下结构。

一种软件测试自动评价装置，其特征为，基于将软件的动作或结构上的特征、性质与对于该软件妥当的测试技术、测试手段相对应的信息即“测试观点”，判定针对某个测试对象生成的软件测试对于该测试对象是否妥当，该装置包括缺陷生成单元，该缺陷生成单元将预先设定的规则以及测试对象软件的特征、性质作为输入，选择与所述特征、性质对应于的缺陷模板，并且使用测试对象软件的特征信息进行补充，由此判定是否按照某个测试观点设计了所述软件测试，并生成“软件缺陷”。

发明效果

根据本发明，通过与测试观点对应地评价用于验证某个软件的质量的软件测试的妥当性，能够对本发明的利用者提供什么样的测试不足的信息，因此能够支持本发明的利用者修正测试的作业。此外，根据本发明，能够在不直接变更软件测试和测试对象软件的情况下进行验证，因此不给利用者带来增加作业的负担。

附图说明

图1是软件测试自动评价装置的结构图的例子。

图2是说明软件测试自动评价装置的处理的流程图的例子。

图3是测试对象代码的例子。

图4是测试代码的例子。

图5是测试对象代码特征信息的例子。

图6是处理特性确定规则的例子。

图7是说明从测试对象代码提取特征信息的处理的前半部分的概念图的例子。

图8是说明从测试对象代码提取特征信息的处理的后半部分的概念图的例子。

图9是软件缺陷的例子。

图10是缺陷基础信息的例子。

图11是说明根据测试对象代码特征信息生成软件缺陷的处理的前半部分的概念图的例子。

图12是说明根据测试对象代码特征信息生成软件缺陷的处理的后半部分的概念图的例子。

图13是说明在测试对象代码中混入软件缺陷的处理的概念图的例子。

图14是说明利用混入了缺陷的测试对象代码执行测试的处理的概念图的例子。

图15是说明判定测试执行结果的处理的概念图的例子。

图16是说明判定测试执行结果的处理的概念图的例子。

图17是测试评价结果的例子。

图18是说明根据软件缺陷生成测试评价结果的处理的概念图的例子。

图19是软件测试自动评价装置的结构图的例子。

图20是说明软件测试自动评价装置的处理的流程图的例子。

图21是测试对象设计信息的例子。

图22是处理特性确定规则的例子。

图23是说明保管测试对象设计信息的处理的概念图的例子。