[发明专利]基于多语平行语料的语义向量的机器翻译方法

摘要

基于多语平行语料的语义向量的机器翻译方法，本发明涉及机器翻译方法。本发明是要解决双语平行语料获得的语义信息通常较少的问题。本发明是通过一、输入平行的源语言1、2以及目标语言；二、根据公式(1)到公式(6)计算得到隐状态h′和h″；三、计算得到的向量c，四、生成目标语言；或者一、输入源语言1、2以及目标语言；二、计算向量c₁和向量c₂的归一化之后的余弦距离；三、衡量向量c₁和向量c₂的相似性；四、令dis(c₁,c₂)大于阈值δ；给定源语言1句子集合S₁和源语言2句子集合S₂，即表示为如下约束最优化问题：五、建立最终目标函数等步骤实现的。本发明应用于机器翻译领域。

主权项

1.基于多语平行语料的语义向量的机器翻译方法，其特征在于，该方法具体是按照以下步骤进行的：步骤一、在训练过程中输入平行的源语言1、源语言2以及标准的目标语言；其中，标准的目标语言为平行的源语言1所对应的目标语言和源语言2所对应的目标语言；步骤二、根据公式(1)到公式(8)计算得到源语言1的隐状态h′和源语言2的隐状态h″；其中，h′₀为源语言1的隐状态h′第0个词的分量；为源语言1的隐状态h′的最后一个词的隐状态，为源语言2的隐状态h″最后一个词的隐状态，是h″的最后一个分量；h″₀为源语言2的隐状态h″第0个词的分量；为正向建立循环神经网络过程中，源语言2第i个词隐状态向量的转置向量；为逆向建立循环神经网络过程中，源语言2第i个词隐状态向量的转置向量；步骤三、根据源语言2的隐状态h″和源语言1的隐状态h′计算得到的向量c，包含了源语言1和源语言2的语义信息；用表示h′和h″的拼接向量，包含h′和h″二者的信息c_i用如下公式(3)计算：其中，是第j个时刻的分量，αij是输入序列第j个位置和输出序列第i个位置的匹配程度对应的权重用如下公式(4)所示计算：其中，是词对齐模型，用来衡量输入序列第j个位置和输出序列第i个位置的匹配程度，s_i‑1是Decoder部分第i‑1时刻的隐状态；eik为输入序列第k个位置和输出序列第i个位置的匹配程度；eij为输入序列第j个位置和输出序列第i个位置的匹配程度；步骤四、根据神经网络计算方法将向量c生成输出变量序列即目标语言；步骤二中计算h_i′的具体过程为：随机初始化利用公式(5)计算利用公式(1)初始化用公式(7)计算根据和计算其中，σ为非线性函数，一般为Sigmoid函数或Tan函数；为正向建立循环神经网络过程中，源语言1隐状态和输入变量之间的权值矩阵；为正向建立循环神经网络过程中，源语言1隐状态之间的权值矩阵；为正向建立循环神经网络过程中，源语言1的偏置向量；为逆向建立循环神经网络过程中，源语言1隐状态和输入变量之间的权值矩阵为逆向建立循环神经网络过程中，源语言2隐状态和源语言1隐状态之间的权值矩阵为逆向建立循环神经网络过程中，源语言1的偏置向量；为逆向建立循环神经网络过程中，源语言1隐状态之间的权值矩阵；x′0为源语言1的第0个词；x′i为源语言1的第i个词；为源语言1的最后一个词；为正向建立循环神经网络过程中，源语言1第0个词的隐状态；为正向建立循环神经网络过程中，源语言1第i个词的隐状态；为逆向建立循环神经网络过程中，源语言1第i个词的隐状态；为逆向建立循环神经网络过程中，源语言1最后一个词的隐状态；为逆向建立循环神经网络过程中，源语言2第0个词的隐状态；步骤二中计算h″i具体过程：编码部分逆向建立循环神经网络(RecurrentNeural Network，RNN)时先随机初始化利用公式(2)初始化用公式(6)计算利用公式(8)计算根据和计算得到h″_i；其中，逆向建立循环神经网络过程中，源语言2隐状态和输入变量之间的权值矩阵为逆向建立循环神经网络过程中，源语言2隐状态之间的权值矩阵；为正向建立循环神经网络过程中，源语言2的偏置向量；为正向建立循环神经网络过程中，源语言2隐状态和输入变量之间的权值矩阵；为正向建立循环神经网络过程中，源语言1隐状态和源语言2隐状态之间的权值矩阵；为正向建立循环神经网络过程中，源语言2隐状态之间的权值矩阵逆向建立循环神经网络过程中，源语言2的偏置向量；x″0为源语言2的第0词；x″i为源语言2的第i个词；为正向建立循环神经网络过程中，源语言2第i个词的隐状态；为正向建立循环神经网络过程中，源语言2第0个词的隐状态；x″i为源语言2第i个词；为逆向建立循环神经网络过程中，源语言2第i个词的隐状态；为逆向建立循环神经网络过程中，源语言2最后一个词的隐状态。