[发明专利]一种工作量感知的bug定位技术有效性评价方法

权利要求书

1.一种工作量感知的bug定位技术有效性评价方法，其特征在于，利用从软件bug追踪 系统中提取的已被修复的bug报告的信息，以及从软件版本控制系统中提取的源代码文件的 工作量信息，结合bug定位技术的定位结果，为bug定位技术计算工作量感知的评价指标， 帮助研究人员判断一个bug定位技术在工作量感知的条件下是否具有实用价值；该方法包括 下列步骤：

1)软件bug报告信息的采集，从软件缺陷追踪系统中，收集已被修复的bug报告的信息， 包括摘要、描述、bug报告提交和修复的时间、修复bug报告的那次源代码提交的标识符和 所修改的源代码文件名等信息；

定义1：源代码提交是版本控制系统中开发人员提交代码修改所记录的历史信息，包含 提交标识符、提交日期、开发人员以及受影响文件等信息；

2)源代码文件工作量的收集，根据步骤1)中收集的bug报告的信息，从版本控制系统 中获取bug报告被修复前的代码快照，并提取出代码快照中所有源代码文件的文件名及源代 码行数信息；

定义1：代码快照是在某一时刻代码仓库的状态，包括代码仓库中包含哪些源代码文件 及源代码文件的内容等信息；

3)源代码文件序列的生成，对一个需要评价的bug定位技术，利用其为步骤2)中得到 的每一个bug报告生成相应的源代码文件序列；

定义1：源代码文件序列是与bug报告相应的代码快照中源代码文件的排序；利用bug 定位技术为代码快照中的每个源代码文件计算其与bug报告的相似值，再根据相似值将源代 码文件降序排序；同时，每个源代码文件会被打上一个标签，表示这个源代码文件是否与bug 报告相关；

定义2：源代码文件与bug报告相关是指源代码文件被修改以修复bug报告中所描述的 bug；

4)评价指标的计算，根据步骤3)得到的bug报告的源代码文件序列，为bug定位技术 分别计算MLE、MAEP、MFEP、MLEP和EffortPrecisionk等评价指标；

定义1：末位平均工作量(MeanLastEffort，MLE)是bug定位技术找到最后一个相关 的代码文件平均所需要的工作量；值越小，表示在工作量感知下bug定位技术性能越好，计 算公式如下：

MLE=1|S|Σj=1nΣi=1qjLOC(fij)]]>

式中MLE为末位平均工作量，n为在评价过程中用到的所有bug报告的数目，|S|代表在 源代码文件序列中能找到出错代码文件的bug报告的个数(|S|≤n)，q_j是第j个bug报告 所对应的源代码文件序列中最后一个相关文件所在的位置，LOC(f_ij)为第j个报告所对应的源 代码文件序列中第i个文件的代码量；

定义2：平均工作量精度均值(MeanAverageEffortPrecision，MAEP)是与最优排序 相比bug定位技术达到相同召回率时的相对工作量；值越大，表示在工作量感知下bug定位 技术性能越好；令r_j代表第j个bug报告，假定：R_j＝{f|f与r_j相关}，即R_j是由r_j相关 的文件构成的集合；计算公式如下：

MAEP=1nΣj=1nAvgEPj]]>

AvgEPj=1|Pj|Σp∈Pj{EffortPrecision(j,p)}]]>

EffortPrecision(j,p)=cej[k]Σi=1pLOC(fij)]]>

k=Σx=1pIsRelevant(x)]]>

式中MAEP为与最优排序相比达到相同召回率时的相对工作量；AvgEP_j为平均工作量精度， 用来描述第j个bug报告的定位有效性；EffortPrecision(j，p)表示第j个bug报告对应的 源代码文件序列中的第p个位置处的工作量精度；ce是一个数组，表示R_j按照代码行从小到 大排序后得到的“最优序列”(即代码行小的相关文件排在前面)中累积的代码行；P_j为在 给定的待评估排序中与r_j真实相关的文件位置集合；对IsRelevant(p)为1代表位置 p处为相关文件、为0表示不相关文件；

定义3：首位工作量精度均值(MeanFirstEffortPrecision，MFEP)是bug定位技术 找到第一个相关源代码文件所需花费的平均工作量；值越大，表示在工作量感知下bug定位 技术性能越好，计算公式如下：

MFEP=1nΣj=1ncej[1]Σi=1qjLOC(fij)]]>

式中，MFEP为找到第一个相关源代码文件所需花费的平均工作量，ce_j[1]即为第j个bug 报告关联的最小的文件代码行数，q_j是第j个bug报告所对应的源代码文件序列中第一个相 关文件所在的位置；

定义4：末位工作量精度均值(MeanLastEffortPrecision，MLEP)是bug定位技术为 找到最后一个相关源代码文件所需花费的平均工作量；值越大，表示在工作量感知下bug定 位技术性能越好，计算公式如下：

MLEP=1nΣj=1ncej[|Rj|]Σi=1qjLOC(fij)]]>

式中，n表示总共有n个bug报告，|R_j|表示第j个bug报告总共有|R_j|个关联的文件， ce_j[|R_j|]表示第j个bug报告关联的所有文件的代码行数的总和，q_j是第j个bug报告所对应 的源代码文件序列中最后一个相关文件所在的位置；

定义5：top-k工作量精度(EffortPrecisionk)是bug定位技术在推荐前k个代码文 件时的工作量精度；值越大，表示在工作量感知下bug定位技术性能越好，计算公式如下：

EffortPrecisionk=1nΣj=1ncej[jk]Σi=1kLOC(fij)]]>

jk=Σi=1kIsRelevant(fij)]]>

式中，EffortPrecisionk为推荐前k个代码文件时的工作量精度，j_k表示对第j个bug 报告从top-k个文件中总共找出j_k个相关的源代码文件；

5)Bug定位技术的分析与评价：研究人员为需要对比的bug定位技术分别计算相应的MLE、 MAEP、MFEP、MLEP和EffortPrecisionk值，并对它们的结果进行比对分析，以判断各方法 的定位效果是否存在明显差异。