[发明专利]生成或者处理图像序列的循环单元

权利要求书

1.一种循环单元，所述循环单元被布置成在时间步系列的每个时间步接收对应的输入向量并且为二维像素阵列的每个像素生成具有至少一个相应值的输出，

所述循环单元在所述时间步系列的除了第一个时间步之外的每个时间步被配置成：

接收所述循环单元在前一时间步的输出，

对所述循环单元在所述前一时间步的所述输出应用取决于在所述时间步的所述输入向量并且取决于所述循环单元在所述前一时间步的所述输出的至少一个卷积，以为所述阵列的每个像素生成具有至少一个分量的翘曲数据集，以及

基于所述翘曲数据集和所述输入向量来生成在所述时间步的所述输出。

2.根据权利要求1所述的循环单元，其中所述循环单元能够操作为通过针对每个像素以相应方式对所述循环单元在所述前一时间步的所述输出进行卷积来为所述阵列的每个像素生成所述翘曲数据集的所述至少一个分量。

3.根据权利要求2所述的循环单元，其被配置成使用所述输入向量来为所述阵列的每个像素生成相应核，并且基于对应核来为每个像素生成所述翘曲数据集的所述至少一个分量。

4.根据权利要求2或权利要求3所述的循环单元，其被配置成：

生成所述翘曲数据集的所述至少一个分量作为所述循环单元在所述前一时间步的所述输出的对应分量与各自取决于所述输入向量和所述循环单元在所述前一时间步的所述输出的相应多个核的卷积的加权和，所述加权和的权重对所述阵列的不同的所述像素来说是不同的。

5.根据任一前述权利要求所述的循环单元，其被配置成生成在每个时间步的所述输出作为以下各项的和：(i)所述翘曲数据集与融合向量的逐分量乘积，以及(ii)与所述融合向量相反地变化的向量和由所述循环单元的整流线性单元生成的精化向量的逐分量乘积。

6.根据权利要求5所述的循环单元，其被配置成通过对以下项应用函数来生成所述融合向量的每个元素：第一权重向量与所述网络在所述前一时间步的所述输出和所述输入向量的级联的逐分量乘积的相应分量加上相应第一偏移值。

7.根据权利要求5所述的循环单元，其被配置成通过对以下项应用函数来生成所述融合向量的每个元素：第一权重向量与所述翘曲数据集和所述输入向量的级联的逐分量乘积的相应分量加上相应第一偏移值。

8.根据权利要求5至7中的任一项所述的循环单元，其中，所述整流线性单元被配置成通过对以下项应用整流线性函数来生成所述精化向量的每个元素：第二权重向量与所述网络在所述前一时间步的所述输出和所述输入向量的级联的逐分量乘积的相应分量加上相应第二偏移值。

9.根据权利要求5至7中的任一项所述的循环单元，其中，所述整流线性单元被配置成通过对以下项应用整流线性函数来生成所述精化向量的每个元素：第二权重向量与所述翘曲数据集的所述输出和所述输入向量的级联的逐分量乘积的相应分量加上相应第二偏移值。

10.一种用于生成表示时间进展并且由二维像素阵列的每个像素的值组成的图像序列的生成器网络，所述生成器网络包括根据任一前述权利要求所述的循环单元，所述生成器网络被配置成基于所述循环单元在所述时间步的相应一个中的相应输出来生成所述图像序列的每个图像。

11.一种用于在图像序列内标识具有一个或多个特性的每个图像的一部分的分段网络，所述分段网络包括根据权利要求1至9中的任一项所述的循环单元，所述循环单元被布置成在时间步系列的每个时间步接收包括所述图像序列的对应图像的输入向量，所述分段网络被配置成在每个时间步中从所述循环单元在对应时间步中的所述输出生成标识所述对应图像的一部分的数据。