[发明专利]具有基于边信息的视频编译的混合运动补偿神经网络

权利要求书

1.一种用于对视频流进行编译的混合装置，包括：

第一编码器，所述第一编码器包括具有至少一个隐藏层的神经网络，其中，所述神经网络被配置成：

在所述至少一个隐藏层中的第一隐藏层处从所述视频流接收源数据；

在所述第一隐藏层处接收与所述源数据相关的边信息；

使用所述源数据和所述边信息来生成引导信息；并且

输出所述引导信息和所述边信息以供解码器重构所述源数据。

2.根据权利要求1所述的混合装置，进一步包括：

第二编码器，所述第二编码器被配置成使用所述源数据来生成所述边信息以用于输入到所述第一编码器。

3.根据权利要求2所述的混合装置，其中：

所述第二编码器包括第二解码器，并且

所述边信息包括来自所述第二解码器的解码源数据。

4.根据权利要求1至3中的任一项所述的混合装置，其中：

所述第一编码器包括第一解码器，所述第一解码器被配置成重构所述源数据以形成重构源数据，并且

所述神经网络被训练以使所述源数据与所述重构源数据之间的速率失真值最小化。

5.根据权利要求1至4中的任一项所述的混合装置，其中：

所述第一编码器包括第一解码器，并且

所述神经网络包括多个隐藏层，至少所述多个隐藏层中的所述第一隐藏层形成所述第一编码器，并且至少所述多个隐藏层中的第二隐藏层形成所述第一解码器，并且所述第一解码器被配置成接收所述引导信息和所述边信息以用于重构所述源数据。

6.根据权利要求5所述的混合装置，其中：

所述第一编码器的每个隐藏层被构造成传递通过所述边信息，使得所述第一解码器的第一层接收所述边信息。

7.根据权利要求1至6中的任一项所述的混合装置，其中，所述第一编码器包括第一解码器，所述混合装置进一步包括：

确定性变换，所述确定性变换被配置成在将所述边信息提供给所述第一编码器和所述第一解码器之前对所述边信息进行变换。

8.根据权利要求1至7中的任一项所述的混合装置，其中：

所述边信息包括使用运动预测生成的全分辨率预测信号。

9.根据权利要求8所述的混合装置，其中：

所述神经网络被训练以选择用于所述全分辨率预测信号内的块残差的变换以使速率失真值最小化。

10.根据权利要求1至9中的任一项所述的混合装置，进一步包括：

第二编码器，所述第二编码器被配置成使用所述源数据来生成所述边信息以用于输入到所述第一编码器，其中，所述第二编码器包括基于块的编码器。

11.根据权利要求1至10中的任一项所述的混合装置，其中：

所述边信息包括降低分辨率的基础层的每帧降低分辨率重构。

12.根据权利要求11所述的混合装置，其中：

所述神经网络被配置成使用所述每帧降低分辨率重构来生成高分辨率层。

13.根据权利要求12所述的混合装置，进一步包括：

第二编码器，所述第二编码器被配置成使用所述源数据来生成所述边信息以用于输入到所述第一编码器，其中，所述第二编码器包括基于块的编码器；和

参考帧缓冲器，所述参考帧缓冲器用于存储从所述神经网络输出的全分辨率参考帧以供在预测后续帧时使用。