[发明专利]一种计算机软件源代码相似度检测方法

权利要求书

1.一种计算机软件源代码相似度检测方法，其特征在于，包括以下步骤：

步骤1、将两份代码文件，依据其编程语言编译原理进行分词操作，得到分词结果集合tokens；

步骤2、对两份代码tokens分别对以特定token起始的语法代码块结构进行分块操作，得到其各自的分块结果blocks；

步骤3、对blocks中的变量类型token进行标记，统计其在全部代码中出现的次数和来自的block；

步骤4、采用差异度计算方法计算代码文件A中的块与代码文件B中的块的差异度，最终得到一个差异度矩阵；

步骤5、依据两份代码其各块的差异度关系，以及相似代码块间差异度最小原则制定相应规则，选择差异度矩阵中的某些元素作为部分差异度，或用某些代码块全部token个数作为部分差异度，对部分差异度进行求和，得到两份代码整体差异度；

所述相应规则如下：

(1)对差异度矩阵，对于每一行选择不与已选取过值的列相重复的最小值作为该行的差异度；

(2)对于剩余没有被取过值的行或列，选取对应代码文件中代码块的token个数作为该行或列的差异度；

步骤6、依据两份代码整体差异度和两份代码总体token个数进行计算，得到差异代码所占总体的比例，从而得到两份代码相似度结果。

2.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：步骤1所述分词操作通过以下过程完成：

首先，对代码文件，依据其所属编程语言词法规则进行初步分词，得到由若干分词结果token组成的集合tokens；

其次，对初步分词结果进行再处理，删除注释或物理空行，并将预先设定的代码块起始关键字token类型改为新的BLOCKNAME类型，其他关键字保持原关键字类型不变。

3.根据权利要求2所述的一种计算机软件源代码相似度检测方法，其特征在于：所述预先设定的代码块起始关键字为循环代码块、判断代码块、函数代码块、类代码块、异常代码块、with代码块以及全局代码块的起始关键字。

4.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：步骤2所述进行token分块操作时，对于某些起始关键字开始的块，根据语言语法规则设定块相关性，对具有相关性的连续块合并成一个代码块。

5.根据权利要求1或4所述的一种计算机软件源代码相似度检测方法，其特征在于：所述进行token分块操作时对于仅包含一条语句的代码块不作为一个单独的块。

6.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：步骤2所述对blocks中变量类型token进行标记，标记方法为将该token写为三元组形式[value,-1*次数,block name]，其中value表示该token的字符串原文,次数表示该token出现的次数，block name表示该token来自于哪个块，如果是全局块以'global'表示，如果是其它块以其对应块的起始关键字表示。

7.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：步骤4所述差异度计算方法为如下一种改进的编辑距离算法：

(1)查找代码块A、B的最长连续公共token子序列；

(2)如果该序列长度小于预设的最小语句长度MIN，则转到步骤(3)；否则，用一个不同于已有token的新的token替换代码块A、B的最长连续公共token子序列，然后返回步骤(1)；

(3)以传统的编辑距离算法计算代码块A、B的差异度。

8.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：判断所述变量类型token相同的标准如下：

(1)如果两个token的名称相同，则视为相同；

(2)如果名称不同，但在两份代码中出现次数相同或相近且较大，则视为相同；

(3)如果名称不同，但在两份代码中出现次数相同或相近且较小，且所属块相同，则视为相同。

9.根据权利要求1所述的一种计算机软件源代码相似度检测方法，其特征在于：步骤6所述依据两份代码整体差异度和两份代码总体token个数进行计算，过程如下：

(1)依据公式计算初步相似度结果评分Score：

S c o r e = 1 - e d i t D i s ( A , B ) ( ( c a r d ( A ) + c a r d ( B ) ) / 2 ]]>

其中card(·)表示·中的全部token个数，editDis(A,B)表示代码块A、B的整体差异度；

(2)在输出所述Score前，通过以下过程进行修正：如果score大于1，则将score修改为1；如果score小于0，则将score修改为0。