[发明专利]一种基于共同注意力表征学习的代码搜索方法

权利要求书

1.一种基于共同注意力表征学习的代码搜索方法，其特征在于，包括如下步骤：

S100：取每个代码特征和该代码所对应的描述，每个代码都包含三个特征：方法名，API序列和词语；构建CARLCS-CNN模型，所述CARLCS-CNN模型包括采用三个独立的CNN神经网络嵌入方法名、词语和描述，用LSTM网络嵌入API序列得到相应的特征矩阵；

所述CNN神经网络嵌入方法名得到特征矩阵M的过程如下：

S110：提取方法名中的单词序列，令m_i∈R^k为与方法名序列中第i个单词相对应的k维单词向量，长度为n的序列表示为式(1.1)：

其中是拼接运算符；

S111：从单词m_i：i+h-1的窗口生成特征c_i

c_i＝f(W_M*m_i：i+h-1+b)     (1.2)；

其中b∈R是偏差项，*是卷积算子，f是非线性函数，该过滤器W_M应用于方法名序列m_i：h，m_2：h+1，...，m_n-h+1：n中每个可能的单词窗口，以生成特征图：

M_h＝[c₁，c₂，...，c_n-h+1]    (1.3)；

S112：使用W_M∈R^k×h三种类型的过滤器，三个过滤器窗口大小h在2到4之间变化，每种类型的过滤器的数量为d，通过所述三个过滤器实现卷积运算，以提取三个独特的特征图，分别为M_h1，M_h2，M_h3∈R^d×(n-h+1)，然后，将三个特征图拼接为一个统一的特征图得到特征矩阵M：

所述CNN神经网络嵌入词语得到特征矩阵T的过程如下：

一组长度为n的k维单词被连接为t_1：n，使用三种类型的过滤器W_T∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图T_h1，T_h2，T_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵T中：

c_i＝f(W_T*t_i：i+h-1+b)    (2.1)；

T_h＝[c₁，c₂，...，c_n-h+1]    (2.2)；

所述LSTM网络嵌入API序列得到特征矩阵A的过程如下：

S130：a_i∈R^k是API序列中第i个词的k维词向量，长度为n的API序列拼接为a_1：n，隐藏状态h_i∈R^d为时间步长i的表示，可以通过双向LSTM获得，隐藏状态的表示如下所示：

S131：时间步骤i的最终隐藏状态h_i是正向LSTM和反向LSTM的拼接：

S132：将所有输出的隐藏状态连接到特征矩阵A∈R^d×n来嵌入API序列：

其中n是隐藏状态的数量；

所述CNN神经网络嵌入描述得到特征矩阵的过程如下：

d_i∈R^k是与描述中的第i个词相对应的k维词向量，长度描述表示为d_1：n，使用三种类型的过滤器W_D∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图D_h1，D_h2，D_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵D：

c_i＝f(W_D*d_i：i+h-1+b)    (4.1)；

D_h＝[c₁，c₂，...，c_n-h+1]    (4.2)；

S200：然后将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵；

S300：通过引入经神经网络学习的参数矩阵，计算代码和与其对应的描述的相关矩阵，并沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征；

S400：将大量相互匹配的代码和描述作为CARLCS-CNN模型的输入，通过损失函数，采用梯度下降法同步更新所述三个独立的CNN神经网络和LSTM网络的参数，得到优化的CARLCS-CNN模型；

S500：代码搜索预测，采用S100的方法将大规模代码库中代码嵌入优化的CARLCS-CNN模型中，将大规模代码库中的每个代码均由一个向量c表示，研发人员将待预测的代码输入优化的CARLCS-CNN模型中，得到待预测向量p，计算待预测向量p与每个向量c之间的相关度，将相关度排在前k个的向量c所对应的代码作为推荐列表输出。