[发明专利]Python源代码文件相似性检测方法

权利要求书

1.一种Python源代码文件相似性检测方法，其特征在于，包括以下步骤：

S1、获取用户输入的参数类型；

S2、若判断出所述用户输入的参数类型为一个Python源文件，则应用算法A检测所述Python源文件内代码之间的相似性；

S3、若判断出所述用户输入的参数类型为一个包含Python源文件的文件夹，则应用算法B检测所述文件夹中所有Python源文件之间的相似性

S4、若判断出所述用户输入的参数类型为一个目标Python源文件和一个包含Python源文件的目标文件夹，则应用算法C检测所述目标Python源文件与所述目标文件夹中所有Python源文件之间的相似性；

其中，用来检测同一个Python源文件内代码之间相似性的算法A为：

A1、将用户输入的所述Python源文件中的所有行读入列表；对所有读入内容进行预处理，删除读入内容中所有多余的空格、每行两端的空格以及行尾的换行符；

所述多余的空格即2个相邻标识符或运算符之间最多只保留一个空格，其他空格都是多余的空格；

A2、从0开始依次为列表中每个元素标号，令index1＝0；进行步骤A3-A9；

A3、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；所述当前行为标号index1所标识的行；

A4、如果当前行已被判断为相似行，则跳过该行开始的所有连续相似行；将当前行与该当前行之前的代码行进行比较，如果符合相似性检测标准则判断当前行为相似行；通过查询Result字典获取信息，实现快速判断；

A5、遍历列表中index1之后的剩余元素，令index2＝index1+1，进行步骤A6-A8；

A6、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；此处的当前行为标号index2所标识的行；

A7、如果当前行已被判断为相似行，则跳过该行开始的所有连续相似行；

A8、对比分别以标号index1和标号index2开始的若干连续行的相似性，如果符合相似性检测标准，则将相似性结果更新到Result字典，并将index2增加符合相似性检测标准的连续行的步长；否则将index2增加1行；

当index2小于等于列表中最后一个元素编号时，继续进行步骤A6-A8；

A9、读取Result字典，获取index1行的最大相似跨度，并将index1增加最大相似跨度的步长；若当前行无相似行，则将index1增加1；

在步骤A9中重置index1的值后，当index1小于等于列表中最后一个元素编号时，继续循环进行步骤A3-A9；

用来检测同一个文件夹中所有Python源文件之间相似性的算法B为：

B1、将所述用户输入的文件夹中所有Python源文件内容读入至列表allFiles，列表allFiles的每个元素是一个列表，每个列表中的第0个元素为文件名，第1个元素是包含该文件的所有代码行；同时对读取的所有内容进行预处理，删除读取的所有内容中的所有多余的空格、每行两端的空格以及行尾的换行符；

B2、从0开始，依次为列表allFiles中各个列表元素标号，令index0＝0；进行步骤B3-B13；

B3、从0开始依次为标号为index0的列表中的元素标号，令index1＝0；进行步骤B4-B12；

B4、如果当前行已被判断为相似行，则跳过该行开始的所有连续相似行；

B5、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；

B6、选择标号为index3的列表，其中，index3＝index0+1；进行步骤B7-B11；

B7、从0开始依次为标号为index3的列表中的元素标号，令index2＝0；进行步骤B8-B10；

B8、如果当前行已被判断为相似行，则跳过该行开始的所有连续相似行；

B9、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；

B10、对比以index1和index2开始的若干连续行相似性，如果符合相似性检测标准，则更新Result字典，并将index2增加符合相似性检测标准的连续行的步长；否则将index2增加1行；当index2小于等于编号为index3的列表最后一个元素编号时，继续进行步骤B8-B10；

B11、将index3增加1，当index3小于等于allFiles列表中最后一个元素编号时，继续进行步骤B7-B11；

B12、读取Result字典，获取index1行的最大相似跨度，并将index1增加最大相似跨度的步长；若当前行无相似行，则将index1增加1；当index1小于等于index0的列表中的最后一个元素编号时，进行步骤B4-B12；

B13、将index0增加1；当index0小于等于allFiles列表中最后一个元素编号时，循环进行步骤B3-B13；

所述目标Python源文件与所述目标文件夹中所有Python源文件之间相似性的算法C为：

C1、将所述用户输入的目标文件夹中所有Python源文件内容读入至目标列表allFiles，目标列表allFiles的每个元素是一个列表，该列表的第0个元素为文件名，第1个元素是包含该文件的所有代码行；同时将所述用户输入的目标Python源文件内容读入至目标列表currentFile；对所有读入内容进行预处理，删除文件中所有多余的空格、每行两端的空格以及行尾的换行符；

C2、从0开始依次为目标列表currentFile中的元素标号，令index1＝0；进行步骤C3-C9；

C3、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；

C4、从0开始，依次为列表allFiles中各个列表标号，令index3＝0；进行步骤C5-C8；

C5、从0开始依次为标号为index3的列表中的元素标号，令index2＝0；进行步骤C6-C7；

C6、如果当前行被判断为注释行，则跳过从当前行开始的所有连续注释行；

C7、对比以index1和index2开始的若干连续行相似性，如果符合相似性检测标准，则更新Result字典，并将index2增加符合相似性检测标准的连续行的步长；否则index2增加1；若index3的列表中的元素还未检测完，则继续进行步骤C6-C7；

C8、将index3增加1，当index3小于等于allFiles列表中最后一个元素编号时，循环进行步骤C5-C8；

C9、读取Result字典，获取index1行的最大相似跨度，并将index1增加最大相似跨度的步长；若当前行无相似行，则将index1增加1；

在步骤C9中重置index1的值后，当index1小于等于currentFile列表中最后一个元素编号时，继续循环进行步骤C3-C9；

其中，所述相似性检测标准为：要求完全相等，则直接将分别以index1和index2开始的若干连续代码行进行比较是否精确相等，若精确相等则认为符合相似性检测标准标准，否则认为不符合；

或者，所述相似性检测标准为：要求两段代码中变量名和运算符具有一定重合度或相似性，则需要首先提取类名、函数名、变量名等标识符以及运算符，并统计各自出现的频率，将结果按标识符出现频率从高到低进行排序；如果标识符与运算符名称以及频率分布达到预设标准，则认为两段代码相似，符合相似性检测标准标准，否则认为不符合；

其中，提取出两段代码或两个源文件中所有标识符和运算符以后，分类并按出现频率从高到低排序，如果两段代码中标识符与运算符以及频率分布具有较高相似性，即如果

同时，

则认为两段代码具有较高相似性。