[发明专利]一种基于门控注意力和交互LSTM的代码生成方法

权利要求书

1.一种基于门控注意力和交互LSTM的代码生成方法，其特征在于，所述方法包括以下步骤：

步骤1：采用双向GRU网络对输入信息进行编码，对信息进行正向和反向编码；

步骤1.1：正向和反向的编码方式和可以更完整地捕捉序列间各单元关联；

步骤1.2：将前向和后向隐状态拼接得此时刻的整体隐状态

步骤1.3：编码器长度根据输入信息长度相应改变，编码信息可表示为S＝(s₁，s₂.....s_n)；

步骤2：采用门控注意力机制，该注意力包含GAT层和ATT层；

步骤2.1：GAT层通过门控GRU将编码信息S转化为改变编码信息的不变性；

步骤2.2：被输入ATT层得到此时刻上下文向量Att_j；

步骤3：采用交互LSTM网络作为解码单元，将编码信息解码构建抽象语法树。

2.如权利要求1所述的基于门控注意力和交互LSTM的代码生成方法，其特征在于，所述的步骤2.1具体方法如下：

步骤2.1.1：编码信息S被输入到ATT层前将解码中前一单元状态c_j-1引入GAT层，通过细化S打破这种不变性，GAT层整体计算公式如下：

步骤2.1.2：上述公式可分解为如下表示：

r_jt＝σ(w_rcc_j-1+w_rss_t+b_r)

z_jt＝σ(w_zcc_j-1+w_zss_t+b_z)

其中：c_j-1为解码单元状态，s_t为第t个编码信息，r_jt为重置门和z_jt为更新门，σ、tanh、w_*和b_*分别表示sigmod函数和双曲正切函数以及权值矩阵和偏置，*表示的是矩阵对应元素相乘。

3.如权利要求1和2所述的基于门控注意力和交互LSTM的代码生成方法，其特征在于，所述的步骤2.2具体方法如下：

步骤2.2.1：将所得输入ATT层得到j时刻上下文向量Att_j，ATT层注意力与软注意力保持一致，整体公式如下：

4.如权利要求1所述的基于门控注意力和交互LSTM的代码生成方法，其特征在于，所述步骤3具体方法如下：

步骤3.1：将Python语法规则：引入到代码生成中，每一时间步即为对语法规则的预测；

步骤3.2：引入拓展LSTM即交互LSTM将原始输入att_j和h_j-1用初始化，根据参数i的奇偶性控制att_j和进行交互计算；

步骤3.3：运用函数sofmax对交互LSTM输出进行动作预测p_action，每个时间步t均触发动作ApplyRule和GetToken；

步骤3.4：抽象语法树按照从上往下，从左往右的顺序执行；

步骤3.5：随着动作ApplyRule和GetToken的执行，最终模型会扩展完成语法树；

步骤3.6：解码器相应的生成的语法树后，将AST转换为所需的代码表示。

5.如权利1-4任一所述的基于门控注意力和交互LSTM的代码生成方法，其特征在于，所述模型包含三部分，编码器-注意力-解码器；模型双向GRU编码让信息关联紧密，门控注意力打破编码信息的不变性让生成上下文向量有了区分度，交互LSTM使输入信息进入解码单元前交互计算；作为不定长输入到不定长输出的任务，通过不断的对权重进行调整来实现对神经网络的训练，使输入与输出形成多对多关系，接着生成抽象语法树表示，最终将语法树转为相应代码。