[发明专利]具有基于边信息的视频编译的混合运动补偿神经网络

说明书

一种用于对视频流进行编译的混合装置包括第一编码器。第一编码器包括具有至少一个隐藏层的神经网络，并且该神经网络在至少一个隐藏层中的第一隐藏层处从视频流接收源数据，在第一隐藏层处接收与源数据相关的边信息，并且使用源数据和边信息来生成引导信息。第一编码器输出引导信息和边信息以供解码器重构源数据。

背景技术

数字视频流可以使用帧或静止图像的序列来表示视频。数字视频能够被用于各种应用，包括例如视频会议、高清晰度视频娱乐、视频广告或用户生成的视频共享。数字视频流能够包含大量数据并且消耗计算设备的大量计算或通信资源以进行视频数据的处理、传输或存储。已经提出各种方法(包括压缩和其它编码技术)来减少视频流中的数据量。

发明内容

所公开的实现方式的一个方面是第一编码器，该第一编码器包括具有至少一个隐藏层的神经网络，其中该神经网络在至少一个隐藏层中的第一隐藏层处从视频流接收源数据，在第一隐藏层处接收与源数据相关的边信息，并且使用源数据和边信息来生成引导信息。第一编码器将引导信息和边信息输出到解码器以用于重构源数据。

本文所述的用于对视频流进行编译的方法包括：将源数据从视频流提供给包括神经网络的第一编码器；使用源数据来生成边信息；将边信息输入到神经网络以用于对源数据进行编码；以及将源数据和边信息从第一编码器传输到解码器。

本文所述的用于对视频流进行编译的另一混合装置包括第一编码器和第一解码器，该第一编码器和该第一解码器包括具有多个隐藏层的神经网络。该神经网络在编码器的第一隐藏层处从视频流接收源数据，在编码器的第一隐藏层处接收与源数据相关的边信息，使用源数据和边信息来生成引导信息，并且在第一解码器的第一隐藏层处接收引导信息和边信息以用于重构源数据。

在以下对实施例、所附权利要求和附图的详细描述中公开了本公开的这些和其它方面。

附图说明

本文的描述参考附图，其中，相似的附图标记在所有若干视图中自始至终指代相似的部分。

图1是视频编码和解码系统的简图。

图2是能够实现传输站或接收站的计算设备的示例的框图。

图3是要编码并随后解码的视频流的图。

图4是根据本公开的实现方式的编码器的框图。

图5是根据本公开的实现方式的解码器的框图。

图6是根据本公开的实现方式的帧的一部分的表示的框图。

图7是根据本公开的实现方式的块的四叉树表示的示例的框图。

图8是用于搜索最佳模式以对块进行编译的过程的流程图。

图9是通过使用预测模式来估计对图像块进行编译的速率和失真成本的过程的框图。

图10是根据本公开的实现方式的用于对视频流的块进行编码的过程的流程图。

图11是根据本公开的实现方式的包括具有边信息的神经网络的编解码器的示例的框图。

图12是能够用于实现图11的编解码器的神经网络的示例的框图。

图13是能够用于实现图11的编解码器的神经网络的另一示例的框图。

图14是图13的神经网络的示例中的变型的框图。

图15是根据本公开的实现方式的包括具有边信息的神经网络的编解码器的替代示例的框图。

具体实施方式