[发明专利]一种基于神经网络语言模型的代码分类方法

权利要求书

1.一种基于神经网络语言模型的代码分类方法，其特征在于：包括以下步骤：

步骤1：将代码转换为AST树；

步骤2：初始化AST树结点c_i的向量vec(c_i)，所述结点c_i中非叶子结点p_k的向量为vec(p_k)₁，所述非叶子结点p_k的孩子结点t_x的向量为vec(t_x)，其中vec(p_k)₁∈vec(c_i)，vec(t_x)∈vec(c_i)，其中i表示结点的序号，k表示非叶子结点的序号，x表示孩子结点的序号；

步骤3：利用所述孩子结点t_x的向量vec(t_x)，得到所述非叶子结点p_k的重构向量vec(p_k)₂；

步骤4：利用AST_Node2Vec模型对所述结点向量vec(c_i)进行学习，若不满足循环条件，则更新结点向量vec(c_i)，跳转到步骤3；若满足循环条件，则输出更新了结点向量vec(c_i)的AST树和更新后的非叶子结点p_k的重构向量vec(p_k)₂；

利用AST_Node2Vec模型对所述结点向量vec(c_i)进行学习的步骤如下：

S401：计算非叶子结点p_k的向量vec(p_k)₁和重构向量vec(p_k)₂之间的差异值，计算公式如下为：

S402：对AST树中的结点进行负采样，得到Y个训练样例和Y个由训练样例产生的负样例，训练样例与负样例的损失函数的计算公式如下：

其中，d^(y)表示第y个训练样例的差异值，表示第y个负样例的差异值，Δ表示设定的训练样例与负样例之间间距的最小值；

S403：对AST_Node2Vec模型的参数进行正则化，得到的目标函数公式如下：

其中，M表示矩阵W_l和W_r中元素的个数且λ表示为了平衡编码误差和正则化项的超参数；

S404：对所述目标函数使用随机梯度下降算法，使模型的参数得到调整，其中参数的更新公式如下：

其中，vec(c_i)_j表示结点向量vec(c_i)中的元素，表示矩阵W_r中的元素，表示矩阵W_l中的元素，j表示维度；

步骤5：将更新了结点向量vec(c_i)的AST树和更新后的非叶子结点p_k的重构向量vec(p_k)₂作为基于树的卷积神经网络的输入，利用基于树的卷积神经网络完成对代码的分类。

2.根据权利要求1所述的一种基于神经网络语言模型的代码分类方法，其特征在于：所述步骤2中，AST树的结点向量vec(c_i)的初始化的方法为给所述AST树中的结点分别分配一个随机值向量。

3.根据权利要求1所述的一种基于神经网络语言模型的代码分类方法，其特征在于：所述步骤3中，非叶子结点p_k的重构向量vec(p_k)₂的计算步骤如下：

其中，n表示结点的个数，b表示大小为的偏置项；l_x表示孩子结点的权重，a代表孩子结点下的叶子数，e代表非叶子结点p_k下的叶子数；W_x表示孩子结点与非叶子结点p_k间的连接矩阵且N_f表示向量的维度，W_l、W_r为参数矩阵。

4.根据权利要求1所述的一种基于神经网络语言模型的代码分类方法，其特征在于：利用所述基于树的卷积神经网络完成对代码的分类的具体步骤如下：

S501：将更新了结点向量vec(c_i)的AST树和更新后的非叶子结点p_k的重构向量vec(p_k)₂作为基于树的卷积神经网络中编码层的输入，利用所述非叶子结点p_k的向量vec(p_k)₁和重构向量vec(p_k)₂计算非叶子结点p_k的线性组合向量vec(p_k)，计算公式如下：

vec(p_k)＝W_comb1·vec(p_k)₁+W_comb2·vec(p_k)₂，

其中，W_comb1表示非叶子结点p_k的向量vec(p_k)_l的权重，W_comb2表示重构向量vec(p_k)₂的权重；

S502：将所述非叶子结点p_k的向量vec(p_k)₁替换为所述线性组合向量vec(p_k)，其余叶子结点的向量不变，得到更新后的AST树；

S503：利用卷积层对更新后的AST树进行处理，即使特征探测器在AST树进行滑动，得到特征探测器输出H，计算公式如下：

其中，和均表示参数矩阵，表示的系数，表示的系数，表示的系数；depth_i表示结点c_i在窗口中的深度，depth表示窗口的深度；pt_i表示结点c_i在所有兄弟结点中的位置，u表示结点c_i的兄弟结点的个数；

S504：将卷积层输出的AST树输入到池化层进行处理；

S505：将池化层处理后的AST树输入到隐藏层进行处理；

S506：将隐藏层处理后的结果输入到输出层中，输出分类的结果。