[发明专利]基于准循环神经网络的编码器-解码器模型

摘要

所公开的技术提供了一种准循环神经网络(QRNN)，其交替跨时间步长并行应用的卷积层，和跨特征维度并行应用的极简主义循环池化层。

主权项

1.一种准循环神经网络(缩写QRNN)系统，运行在众多并行处理核上，其提高将源语言序列翻译成目标语言序列的基于神经网络的序列到序列机器翻译任务的训练和推理阶段期间的计算速度，包括：QRNN编码器，包括至少一个编码器卷积层、至少一个编码器池化层和至少一个编码器输出门；所述编码器卷积层包括编码器卷积滤波器组，用于对在源语言向量的多个时间序列中的源语言向量的一组时间序列上的编码器时间序列窗口中的源语言向量进行并行卷积；以及编码器卷积向量产生器，用于基于所述并行卷积并发输出每个编码器时间序列窗口的编码器的卷积向量；所述编码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加所述编码器的所述卷积向量的分量的特征值，在为每个连续编码器时间序列窗口顺序产生的编码器的每个状态向量中并行累加特征和的有序集合；以及所述编码器输出门包括编码器隐藏状态产生器，用于将输出门向量应用于编码器的状态向量，从而产生编码器的隐藏状态向量；QRNN解码器，包括至少一个解码器卷积层、至少一个解码器池化层和至少一个注意力接口；所述解码器卷积层包括解码器卷积滤波器组，用于对在解码器输入向量的多个时间序列中的解码器输入向量的一组时间序列上的解码器时间序列窗口中的解码器输入向量进行并行卷积，其中，在初始解码器时间序列窗口处，所述解码器卷积滤波器组仅在作为翻译开始标记的单个解码器输入向量上进行卷积，以及其中，在连续的解码器时间序列窗口处，所述解码器卷积滤波器组在包括翻译起始标记和先前发出的目标语言向量的解码器输入向量上进行卷积；以及解码器卷积向量产生器，用于根据并行卷积并发输出每个解码器时间序列窗口的解码器的卷积向量；所述解码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加解码器的卷积向量的分量的特征值，在为每个连续的解码器时间序列窗口顺序产生的解码器的每个状态向量中并行累加特征和的有序集合；所述注意力接口包括状态比较器，用于确定编码器的隐藏状态向量与解码器的状态向量之间的逐对相似度得分；编码混合器，用于生成编码器的隐藏状态向量的上下文摘要，作为通过沿编码器时间序列窗口产生的指数归一化相似度得分序列缩放的编码器的隐藏状态向量的凸组合；感知器，用于线性投影所述上下文摘要和所述解码器的状态向量；连接器，用于结合线性投影的上下文摘要和所述解码器的状态向量；以及解码器输出门，用于将输出门向量应用于结合的线性投影的上下文摘要和所述解码器的状态向量，从而产生所述解码器的隐藏状态向量；以及翻译器，用于通过基于解码的隐藏状态向量发射目标语言向量来执行序列到序列机器翻译任务。