[发明专利]一种基于局部短语句法增强机制的神经机器翻译方法

权利要求书

1.一种基于局部短语句法增强机制的神经机器翻译方法，其特征在于，包括以下步骤：

步骤1：构建各个元素的局部短语序列：

在标准注意力机制基础上，进一步增加局部短语偏置：

其中，P_i，j表示局部短语偏置矩阵；Att()表示注意力机制；Q_i表示单词i的查询query；K_j表示单词j的键值key；x_i表示单词i的词嵌入向量；x_j表示单词j的词嵌入向量；W^Q表示查询query权重矩阵；W^K表示键值key权重矩阵；T表示对矩阵做转置操作，d_k表示向量维度；

步骤2：通过局部短语序列，构建相对短语位置向量矩阵；

步骤3：识别冗余头，根据句法注意力的平均权重，动态确定训练过程中每个头的重要性；

步骤4：使用基于局部短语的句法增强的注意力机制代替原本的冗余头，激活其潜在能力。

2.如权利要求1所述的一种基于局部短语句法增强机制的神经机器翻译方法，其特征在于，局部短语满足规则如下：

规则1：给定一个m层的成分树，以及单词xi和它的祖先节点序列其中ast₀表示第0层祖先节点，表示单词x_i上一层的祖先节点，layer(x_i)表示单词x_i所在层数，则认为其局部短语local_phrase(x_i)包括属于其最低层多后代祖先节点ast_layer(xi)-m的单词，其中0＜＝m＜＝layer(x_i)；

规则2：如果单词x_i包含在单词x_j的局部短语序列中，则认为x_i的局部短语序列中同样包含x_j。

3.如权利要求1所述的一种基于局部短语句法增强机制的神经机器翻译方法，其特征在于，步骤2包括以下步骤：

为获取局部短语偏置向量p，首先要从成分树中抽取相对短语位置矩阵RP；

给定一个RP∈R^u*u的矩阵，其中RP表示相对短语位置矩阵、u表示矩阵维度，每一个元素代表单词x_i和单词x_j之间的相对句法距离；

对于不在同一相对短语序列中的词对，将其相对距离设置为正无穷；对于处于同一相对短语序列中的词对，根据其相对短语层数设置其相对短语位置距离为其层数之差，由此得到矩阵RP；

将最大相对短语距离设置为确定值k，并将2k+1个不同的标签用于相对短语位置向量，将矩阵RP转换为相应的向量矩阵M∈R^u*u*dh，其中：

M_ij＝w_clip(j-i，k)

clip(x，k)＝max(-k，min(k，x))

其中，M_ij表示相应的向量矩阵，clip(x，k)表示取[-k，k]内的最大值，超出范围则取边界值；

之后，学习到相对短语距离表示w＝(w_-k，...，w_k)，其中w_i∈R^dh，R^dh表示dh维度的向量空间；

得到矩阵M之后，构建一个前馈网络来将相对局部短语位置向量M_ij转化为相对局部短语位置隐状态；通过线性投影U_P∈R^dh*1将隐状态映射为局部短语偏置矩阵P中的负标量P_ij，即矩阵P的每一元素：

P＝-|tanh(W_PM+b_P)U_P|

其中，W_P∈R^dh*dh和b_P∈R^dh均为模型的参数。