[发明专利]一种基于神经网络语言模型的代码分类方法

说明书

属于软件工程领域，公开了一种基于神经网络语言模型的代码分类方法，首先将代码转换为AST树，初始化AST树的结点c_i的向量，利用孩子结点t_x的向量得到非叶子结点p_k的重构向量；利用AST_Node2Vec模型对所述结点c_i的向量进行更新，若不满足循环条件，则继续循环；若满足循环条件，则输出更新了结点向量的AST树和更新后的非叶子结点的重构向量；将更新了结点向量的AST树和更新后的非叶子结点的重构向量作为基于树的卷积神经网络的输入，利用所述基于树的卷积神经网络完成对代码的分类；采用该方法对代码进行分类可有效的避免维度灾难问题，同时能够显示出语义上的相似性，能够很好的对代码按照功能进行分类。

技术领域

本发明涉及一种代码分类的方法，特别是一种基于神经网络语言模型的代码分类方法，可以对代码按照功能进行分类。

背景技术

Hindle等人利用统计学的方法将编程语言与自然语言进行了比较，发现它们有非常相似的统计学特性。这些特性对于人类来说非常难以捕捉，但是他们证明了可以将基于学习的方法应用在代码分析领域。基于机器学习的代码分析方法已经被研究了很长一段时间，在解决代码错误检测、代码重复性分析等问题时，依赖了大量的人工特征。对于一个具体的问题，这些特征需要大量的有标签的数据。而且该方法对于数据的表示是一种one hot的表示，即使用N维向量来对字典中的N个词进行编码。这样，在数据量增大的情况下会带来维度灾难的问题。经过研究表明，人工特征的效果可能要比自动学习的特征的效果还要差。例如在自然语言处理(Natural Language Processing，NLP)中，自动学习到的词的分类要比著名的词典WordNet还要准确。

发明内容

基于以上技术问题，本发明提供了一种基于神经网络语言模型的代码分类方法，旨在解决代码分类时因符号表示方法造成维度灾难的技术问题。

本发明采用的技术方案如下：

一种基于神经网络语言模型的代码分类方法，包括以下步骤：

步骤1：将代码转换为AST树；

步骤2：初始化AST树结点c_i的向量vec(c_i)，所述结点c_i中非叶子结点p_k的向量为vec(p_k)₁，所述非叶子结点p_k的孩子结点t_x的向量为vec(t_x)，其中vec(p_k)₁∈vec(c_i)，vec(t_x)∈vec(c_i)，其中i表示结点的序号，k表示非叶子节点的序号，x表示孩子结点的序号；

步骤3：利用所述孩子结点t_x的向量vec(t_x)，得到所述非叶子结点p_k的重构向量vec(p_k)₂；

步骤4：利用AST_Node2Vec模型对所述结点向量vec(c_i)进行学习，若不满足循环条件，更新结点向量vec(c_i)，跳转到步骤3；若满足循环条件，则输出更新了结点向量vec(c_i) 的AST树和更新后的非叶子结点p_k的重构向量vec(p_k)₂；

步骤5：将更新了结点向量vec(c_i)的AST树和更新后的非叶子结点p_k的重构向量vec(p_k)₂作为基于树的卷积神经网络的输入，利用基于树的卷积神经网络完成对代码的分类。