[发明专利]神经机器翻译系统

说明书

本申请涉及神经机器翻译系统。用于神经机器翻译的方法、系统和设备，其包括在计算机存储介质上编码的计算机程序。系统中的一个包括编码器神经网络和解码器子系统，编码器神经网络包括：正向输入长短期记忆LSTM层，被配置成以正向次序对输入序列中的每个输入语言符号进行处理，以生成每个输入语言符号的相应正向表示；反向输入LSTM层，被配置成以反向次序对每个输入语言符号进行处理，以生成每个输入语言符号的相应反向表示；以及多个隐藏LSTM层，被配置成以正向次序对输入语言符号中的每个的相应组合表示进行处理，以生成输入序列中的每个的相应编码表示；解码器子系统被配置成接收相应编码表示且对编码表示进行处理以生成输出序列。

分案说明

本申请属于申请日为2017年9月26日的中国发明专利申请201710882491.0的分案申请。

技术领域

本申请涉及神经机器翻译系统。

背景技术

本说明书涉及使用神经网络翻译文本。

机器学习模型接收输入，并且基于该接收的输入生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于该接收的输入和该模型的参数值生成输出。

一些机器学习模型是采用多层模型来生成针对接收的输入的输出的深层模型。例如，深层神经网络是包括输出层和一个或多个隐藏层的深层机器学习模型，所述一个或多个隐藏层各自为接收的输入应用非线性变换以生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并根据所述输入序列生成输出序列的神经网络。特别地，在根据输入序列中的当前输入生成输出的过程中，循环神经网络使用该网络在处理输入序列中的前一个输入之后的内部状态中的一些或全部。

发明内容

本说明书描述作为一个或多个位置处的一个或多个计算机上的计算机程序被实现的系统，所述系统使用神经网络将文本从源语言翻译成目标语言。

在所描述主题的某些方面，一种由一个或多个计算机实现的神经机器翻译系统被配置成接收表示第一自然语言的第一文字序列的输入语言符号的输入序列，并且生成表示是所述第一文字序列到第二自然语言的翻译的第二文字序列的输出语言符号的输出序列，并且包括：编码器神经网络和解码器子系统。所述编码器神经网络顺序包括：正向输入长短期记忆(LSTM)层，被配置成以正向次序对所述输入序列中的每个输入语言符号进行处理，以生成所述输入语言符号的相应正向表示；反向输入LSTM层，被配置成以反向次序对所述输入序列中的每个输入语言符号进行处理，以生成所述输入语言符号的相应反向表示；组合层，被配置成针对所述输入序列中的每个输入语言符号，对所述输入语言符号的所述正向表示和所述输入语言符号的所述反向表示进行组合，以生成所述输入语言符号的组合表示；以及多个隐藏LSTM层，被配置成以所述正向次序对所述输入序列中的每个输入语言符号的所述组合表示进行处理，以生成所述输入语言符号的相应编码表示。所述解码器子系统被配置成接收所述输入序列中的每个输入语言符号的所述相应编码表示，并且对所接收的编码表示进行处理以生成所述输出序列。

在这些方面的某些中，所述多个隐藏LSTM层被一个接一个地布置在堆栈中，并且其中所述多个隐藏LSTM层包括至少七个LSTM层。在这些方面的某些中，所述多个隐藏LSTM层中的至少两个与剩余连接相连接。

在这些方面的某些中，所述解码器子系统包括：解码器神经网络，所述解码器神经网络包括：多个LSTM层，所述多个LSTM层被以一个在一个之上地布置在堆栈中，并且被配置成为所述输出序列中的多个位置中的每个执行以下操作：接收注意力上下文矢量和所述输出序列中的前一个位置处的输出语言符号，以及对所述注意力上下文矢量和所述输出序列中的所述前一个位置处的所述输出语言符号进行处理，以生成针对所述位置的LSTM输出，以及softmax输出层，所述softmax输出层被配置成为所述多个位置中的每个执行以下操作：接收所述针对所述位置的LSTM输出，以及生成针对输出语言符号的词汇中的每个输出语言符号的相应分值。