[发明专利]针对视频的时间去噪

说明书

提供了用于视频编码的方法、计算机程序和计算机系统。接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。

相关申请的交叉引用

本申请要求于2021年5月7日提交的美国专利申请第17/314,644号的优先权权益，该美国专利申请基于下述美国临时申请要求优先权：于2020年6月5日提交的美国临时申请第63/035,252号、于2020年6月8日提交的美国临时申请第63/036,181号以及于2020年6月9日提交的美国临时申请第63/036,624号，上述美国申请的全部内容通过引用并入本文。

技术领域

本发明总体上涉及数据处理领域，并且更具体地涉及视频译码、解码和流式传播。

背景技术

沉浸式视频是使用全向摄像机或摄像机集合拍摄的同时记录多个方向的视图的视频记录。在普通平板显示器上回放期间，观看者可以像全景一样控制观看方向。它也可以在布置于球体或球体的某些部分中的显示器或投影仪上播放。对于支持3个自由度(3Degrees of Freedom，3DoF)的沉浸式媒体的编码表示，观看者的位置是静态的但其头部可以偏航、俯仰和翻滚。6个自由度(6Degrees of Freedom，6DoF)使得除了3DoF方向以外还能够在水平方向、竖直方向和深度方向上进行平移运动。平移支持使得能够使交互式运动视差为观看者的视觉系统提供自然提示并且产生对他们周围的音量的增强的感知。

发明内容

实施方式涉及用于视频编码的方法、系统和计算机可读介质。根据一个方面，提供了用于视频编码的方法。该方法可以包括接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。

根据另一方面，提供了一种用于视频编码的计算机系统。计算机系统可以包括：一个或更多个处理器、一个或更多个计算机可读存储器、一个或更多个计算机可读有形存储装置，以及存储在所述一个或更多个存储装置中的至少一个上的程序指令，程序指令用于由所述一个或更多个处理器中的至少一个经由所述一个或更多个存储器中的至少一个执行，由此计算机系统能够执行方法。该方法可以包括接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。

根据又一方面，提供了一种用于视频编码的计算机可读介质。计算机可读介质可以包括一个或更多个计算机可读存储装置和存储在所述一个或更多个有形存储装置中的至少一个上的程序指令，所述程序指令由处理器执行。程序指令能够由处理器执行用于执行以下方法：该方法相应地可以包括接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。

附图说明

根据要结合附图阅读的说明性实施方式的以下详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为这些图示是为了有助于本领域技术人员结合详细描述的理解的清楚。在附图中：

图1示出根据至少一个实施方式的联网计算机环境；

图2是根据至少一个实施方式的用于流式传播沉浸式视频的生态系统的示意图；

图3是示出根据至少一个实施方式的由基于从静态背景去除噪声和填充由DIBR创建的孔洞进行视频编码的程序执行的步骤的操作流程图；

图4是根据至少一个实施方式的图1中描述的计算机和服务器的内部部件和外部部件的框图；

图5是根据至少一个实施方式的包括图1中描述的计算机系统的说明性云计算环境的框图；以及