[发明专利]基于深层神经网络翻译模型的解码方法

说明书

本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于深层神经网络翻译模型的解码方法。

背景技术

机器翻译又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种具有相同语义的自然语言(目标语言)的过程。机器翻译就是实现从源语言到目标语言转换的过程。机器翻译的系统框架可以分为两类：基于规则的机器翻译(RBMT)和基于语料库的机器翻译(CBMT)。其中CBMT又可分为基于实例的机器翻译(EBMT)、基于统计的机器翻译(SMT)以及近年流行的利用深度学习模型所构建的神经网络机器翻译(NMT)。

其中，基于统计的机器翻译方法是将源文本和目标文本之间的翻译看成是一个概率对照的关系，试图用纯数学的概率统计来获取学习语料中的翻译对应关系；其任务就是在所有可能的目标语言的句子中，寻找概率最大的句子作为翻译结果。统计机器翻译由最初的基于词的翻译模型，发展到基于短语的翻译模型、基于层次短语的翻译模型、基于句法的翻译模型和基于语义的翻译模型。神经网络机器翻译是指采用神经网络以端到端(End-to-End)方式进行翻译建模的机器翻译方法，其基本思想是使用神经网络直接将源语言映射成目标语言文本。

虽然端到端神经网络机器翻译在近年来获得了迅速的发展，但仍存在许多重要问题有待解决。比如训练复杂度高、训练难度大、存在“梯度消失”问题，解码速度慢等问题。神经网络模型的深度对其效果有着显著的影响，然而，目前基于端到端的神经网络机器翻译方法往往由于梯度传递和训练难度等问题，导致深层的机器翻译模型无法达到翻译质量的提升。实验发现，直接简单地提高神经网络机器翻译模型的层数，翻译质量反而出现下降。在深层模型的基础上加入残差网络连接，只能在一定程度上增强模型梯度流的纵向更新。由于模型层数的加深，模型参数的增加和较大词汇表导致了深层模型的解码速度出现下降的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决深层神经网络机器翻译模型中训练困难和解码慢的问题，本申请提供了一种基于深层神经网络翻译模型的解码方法，以解决上述问题。

本申请提供了基于深层神经网络翻译模型的解码方法，该方法包括如下步骤：步骤1，对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与上述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出上述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为上述翻译模型的输出；其中，上述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。

在一些示例中，所述翻译模型，其训练过程包括：对训练用数据中的双语句子对进行分词和词频统计，确定所述翻译模型词汇表大小；采用极大似然目标函数作为约束函数对所述初始深层神经网络翻译模型进行参数训练；其中，所述双语句子对为存在对应关系的一对源语言语句和目标语言语句。

在一些示例中，上述翻译模型词汇表包括目标端词汇表和源端词汇表；上述“对训练用数据中的双语句子对进行分词和词频统计，确定翻译模型词汇表大小”，包括：对上述双语句子对进行词法分析以进行自动分词；统计上述源语言语句和上述目标语言语句在自动分词后的词频和占比，确定目标端词汇表和和源端词汇表大小。