[发明专利]基于准循环神经网络的编码器-解码器模型

权利要求书

1.一种准循环神经网络QRNN系统，运行在众多并行处理核上，其提高将源语言序列翻译成目标语言序列的基于神经网络的序列到序列机器翻译任务的训练和推理阶段期间的计算速度，包括：

QRNN编码器，包括至少一个编码器卷积层、至少一个编码器池化层和至少一个编码器输出门；

所述编码器卷积层包括

编码器卷积滤波器组，用于对在源语言向量的多个时间序列中的源语言向量的一组时间序列上的编码器时间序列窗口中的源语言向量进行并行卷积；以及

编码器卷积向量产生器，用于基于所述并行卷积并发输出每个编码器时间序列窗口的编码器的卷积向量；

所述编码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加所述编码器的所述卷积向量的分量的特征值，在为每个连续编码器时间序列窗口顺序产生的编码器的每个状态向量中并行累加特征和的有序集合；以及

所述编码器输出门包括编码器隐藏状态产生器，用于将输出门向量应用于编码器的状态向量，从而产生编码器的隐藏状态向量；

QRNN解码器，包括至少一个解码器卷积层、至少一个解码器池化层和至少一个注意力接口；

所述解码器卷积层包括：

解码器卷积滤波器组，用于对在解码器输入向量的多个时间序列中的解码器输入向量的一组时间序列上的解码器时间序列窗口中的解码器输入向量进行并行卷积，

其中，在初始解码器时间序列窗口处，所述解码器卷积滤波器组仅在作为翻译开始标记的单个解码器输入向量上进行卷积，以及

其中，在连续的解码器时间序列窗口处，所述解码器卷积滤波器组在包括翻译起始标记和先前发出的目标语言向量的解码器输入向量上进行卷积；以及

解码器卷积向量产生器，用于根据并行卷积并发输出每个解码器时间序列窗口的解码器的卷积向量；

所述解码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加解码器的卷积向量的分量的特征值，在为每个连续的解码器时间序列窗口顺序产生的解码器的每个状态向量中并行累加特征和的有序集合；

所述注意力接口包括：

状态比较器，用于确定编码器的隐藏状态向量与解码器的状态向量之间的逐对相似度得分；

编码混合器，用于生成编码器的隐藏状态向量的上下文摘要，

作为通过沿编码器时间序列窗口产生的指数归一化相似度得分序列缩放的编码器的隐藏状态向量的凸组合；

感知器，用于线性投影所述上下文摘要和所述解码器的状态向量；

连接器，用于结合线性投影的上下文摘要和所述解码器的状态向量；以及

解码器输出门，用于将输出门向量应用于结合的线性投影的上下文摘要和所述解码器的状态向量，从而产生所述解码器的隐藏状态向量；以及

翻译器，用于通过基于解码的隐藏状态向量发射目标语言向量来执行序列到序列机器翻译任务。

2.如权利要求1所述的QRNN系统，其中每个卷积向量包括激活向量和一个或更多个门向量中的特征值，用于分别在逐元素序数位置的基础上将门向量中的特征值作为参数应用于激活向量中的特征值。

3.如权利要求1-2中任一项所述的QRNN系统，其中每个特征和由累加器根据在为当前时间序列窗口输出的激活向量中给定序数位置处的特征值，在为当前时间序列窗口输出的一个或更多个门向量中的给定序数位置处的一个或更多个特征值，以及在先前时间序列窗口累加的状态向量中给定序数位置处的特征和进行累加。

4.如权利要求1-2中任一项所述的QRNN系统，进一步包括补充器，用于利用由编码器隐藏状态产生器为最终编码器时间序列窗口产生的编码器的最终隐藏状态向量来向解码器池化层补充每个输入。

5.如权利要求1-2中任一项所述的QRNN系统，其中状态比较器使用点积来确定所述编码器的隐藏状态向量和所述解码器的状态向量之间的逐对相似度得分。

6.如权利要求1-2中任一项所述的QRNN系统，其中所述源语言序列和所述目标语言序列是单词级序列。

7.如权利要求1-2中任一项所述的QRNN系统，其中所述源语言序列和所述目标语言序列是字符级序列。