[发明专利]一种基于CodeBert和空间结构的代码缺陷预测方法

权利要求书

1.一种基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，包括以下步骤：

S1、挖掘Git Hub中Stars数排名靠前的java项目，然后通过爬虫程序从issues中收集提交的缺陷代码段、缺陷描述及修复后的代码段，对非英文语言的缺陷描述翻译为英文，得到数据集D，设定数据集的格式为项目名，缺陷代码，修复后代码，缺陷描述；

S2、使用CodeBert提取代码语义特征，并通过BERT-whitening进行关键特征提取和降维；

S3、考虑数据集代码的抽象语法树信息，通过最短路径长度表示代码空间结构信息；

S4、对构建的数据集随机划分成训练集、验证集和测试集，同时构建bi-LSTM及LSTM神经网络；

S5、将步骤S2中提取的语义特征向量输入bi-LSTM神经网络，其最后一层输出hiddenstate信息；

S6、用所述步骤S3得到的代码空间结构信息和所述步骤S5得到的hidden state作为输入重新进入LSTM神经网络；

S7、对所述步骤S5和S7得到的hidden state引入Attention机制进一步获取比较重要的hidden state信息；

S8、使用softmax回归模型对步骤S7得到的hidden state信息归一化，从而判断代码是否有缺陷。

2.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述S2包括如下步骤：

S21：对于给定的代码段，根据大小写规则对其进行分割，得到输入序列；

S22：将序列输入到CodeBert中，提取输出中第一层和最后一层的隐藏状态，并对它们取平均值，得到代码段的语义特征向量；

S23：使用BERT-whitening来处理语义向量，通过线性变换进行关键特征提取和降维。

3.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述S3包括如下步骤：

S31：首先根据solidity-parser-antlr将代码生成相应的抽象语法树，记作ASTs；

S32：使用广度优先搜索的算法生成AST的最短路径长度矩阵，记作A；

S33：对矩阵A中的非零元素Aij取倒数，得到空间结构信息矩阵，记作Aast。

4.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述S4包括如下步骤：

S41：对于S1得到的数据集进行划分，按照80％：10％：10％的比例进行随机划分训练集、测试集和验证集；

S42：神经网络使用bi-LSTM和LSTM堆叠，bi-LSTM在前，LSTM在后，同时将bi-LSTM的隐状态向量hi作为LSTM的输入。

5.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述步骤S5将S2得到的语义特征向量Xi作为bi-LSTM的输入，其最后一层的隐状态向量为hi。

6.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述步骤S6将步骤S3得到的空间结构信息矩阵Aast和步骤S5得到的隐状态向量hi作为LSTM的输入，其最后一层的隐状态向量为hj。

7.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述步骤S7引入Attention机制，对所有step的hidden state进行加权，把注意力集中到比较重要的hidden state信息上。

8.根据权利要求1所述的基于CodeBert和空间结构的代码缺陷预测方法，其特征在于，所述步骤S8使用softmax回归模型对步骤S7得到的hidden state信息归一化，从而判断代码是否有缺陷。