[发明专利]生成或者处理图像序列的循环单元

说明书

提出了一种循环单元，该循环单元在时间步系列中的每个时间步接收对应输入向量并且针对二维像素阵列的每个像素在该时间步生成具有至少一个分量的输出。该循环单元在时间步系列的除了第一个时间步之外的每个时间步被配置成接收循环单元在前一时间步的输出，并且对循环单元在前一时间步的输出应用取决于在该时间步的输入向量的至少一个卷积。该卷积进一步取决于循环单元在前一时间步的输出。该卷积为阵列的每个像素生成具有至少一个分量的翘曲数据集。循环单元在每个时间步的输出基于该翘曲数据集和该输入向量。

技术领域

本说明书涉及一种用于神经网络的循环单元。

背景技术

神经网络是采用一个或多个非线性单元层来针对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层，即下一隐藏层或输出层，的输入。网络的每个层依照相应参数集的当前值从接收到的输入生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并且从该输入序列生成输出序列的神经网络。特别地，循环神经网络能够在计算当前时间步的输出时使用来自前一时间步的网络的状态中的一些或全部。循环神经网络的示例是包括一个或多个长短期(LSTM)记忆块的LSTM神经网络。每个LSTM记忆块能够包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，这些门允许单元存储该单元的先前状态，例如，用于在生成当前激活时使用或者被提供给LSTM神经网络的其他组件。

发明内容

本说明书通常描述一种实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统，该系统实现用于自适应系统的循环单元。该循环单元生成输出，并且在循环更新期间翘曲输出。如在下面进一步描述的，循环单元可以是循环神经网络的层，或者是循环神经网络的层的一部分。

能够采用循环单元作为较大自适应系统的组件，其中循环单元的输出是自适应系统的隐藏状态(即不是由自适应系统输出的数据)。在一种情况下，自适应系统可以包括循环神经网络。循环单元可以例如对应于具有多个循环层的循环神经网络的一个循环层。循环层中的任何一个或多个可以是如这里所描述的循环单元。循环层在序列(栈)中，其中由序列的除了序列的最后层之外的每个循环层生成的数据被传递以成为序列的下一循环层的输入。此外，自适应系统可以包括：输入单元(例如由进一步的自适应层组成)，该输入单元处理在传送到循环神经网络之前输入到自适应系统的数据；和/或输出单元(例如进一步的自适应层)，该输出单元处理由循环神经网络生成的数据。例如，这些循环单元中的一个或多个可以接收和/或生成在特征空间中的数据。例如，输入单元可以将图像空间中的图像(例如适合于人类观测的图像)转换到特征空间中并且/或者输出单元可以将从循环单元生成的数据从特征空间转换到图像空间中。

翘曲(warping)特别但不排他地适于图像和视频处理。因此使用循环单元的自适应系统可以接收和/或生成具有时间关系的图像序列，例如以实现用于生成详述时间顺序的图像序列(诸如包括一系列帧的视频)的生成器网络。

循环单元由能够至少在自适应系统的训练阶段期间变化的多个参数定义。跟随训练阶段之后，自适应系统可以具有其中参数不变化的使用阶段。

循环单元能够被用在接收和/或生成具有时间进展的图像序列的多种类型的自适应系统中。例如，该自适应系统可以是用于生成具有时间进展的图像序列(例如，类似由摄像机捕获的真实世界的视频的视频)的生成器网络。