[发明专利]视频处理方法和装置

说明书

本申请实施例提供视频处理方法和装置。该方法确定帧序列内当前帧中的当前块的帧间隔。帧间隔指示帧序列中的一组帧，该组帧具有与当前块相比满足误差度量要求的当前块的同位块。此外，该方法还基于该组帧中的同位块确定替换块，并用替换块替换当前帧中的当前块。

本申请要求2020年3月26日递交的美国临时申请63/000,292的优先权，以及2020年11月11日递交的美国申请17/095,602的优先权，其全部内容通过引用结合在本文中。

技术领域

本申请实施例主要涉及视频平滑技术，特别地，涉及视频的时间平滑方法和装置。

背景技术

本文提供的背景描述是为了呈现本申请的背景。记名的发明人的工作，在该背景部分描述的工作以及本说明书各实施例的范围内的内容，在递交时可能并不算作现有技术，均未被明示或暗示地承认作为不利于本申请的现有技术。

沉浸式视频包括来自多个方向的景象，并且可经过渲染以提供特殊的用户体验。在示例中，使用全向摄像机或摄像机集合录制同时来自多个方向的视频记录，作为沉浸式视频。在普通平面显示器上回放期间，观看者像控制全景图一样控制观看方向。在另一示例中，在虚拟现实应用程序中，计算机技术创建沉浸式视频，以复制真实环境或创建虚构环境，因此用户可以获得身处三维环境的模拟体验。

发明内容

本申请各方面提供了用于视频处理的方法和装置。在一些示例中，用于视频处理的装置包括处理电路。例如，处理电路确定当前帧中当前块的帧间隔。当前帧是一个帧序列内的帧，帧间隔指示该帧序列中的一组帧，该组帧具有与当前块相比满足误差度量要求的当前块的同位块。此外，处理电路基于该组帧中的同位块确定替换块，并用替换块替换当前帧中的当前块。

在一些实施例中，处理电路确定当前帧之前的起始帧。在起始帧及起始帧与当前帧之间的帧中包括当前块的同位块，所述同位块与当前块相比满足误差度量要求。

在一些实施例中，处理电路确定当前帧之后的结束帧。在结束帧及当前帧与结束帧之间的帧中的当前块的同位块与当前块相比满足误差度量要求。

在一些示例中，响应于帧间隔小于预定阈值且较小块的尺寸满足尺寸要求，处理电路将当前块划分为较小的块。

在一些实施例中，使用自上而下的块分解。例如，处理电路将当前帧划分为满足最大尺寸要求的最大块，并基于帧间隔要求和最小尺寸要求递归地对最大块中的每个块进行划分。

在一些实施例中，使用自下而上的块分解。例如，处理电路将当前帧划分为满足最小尺寸要求的最小块，并基于帧间隔要求和最大尺寸要求递归地将相邻最小块组合起来。

在一些示例中，误差度量要求包括针对当前块与同位块中的每个同位块之间的误差的第一要求，及各同位块到当前块的综合误差的第二要求。该误差被计算为绝对差之和、均方误差和像素加权差中的至少一个。

在一些实施例中，处理电路对同位块进行滤波以确定替换块。处理电路可使用均值滤波器、中值滤波器和高斯滤波器中的至少一个对同位块进行滤波。

本申请的各方面还提供一种存储指令的非易失性计算机可读介质，当由计算机执行该指令以进行视频处理时，使得计算机执行用于视频处理的方法。

附图说明

根据以下具体实施方式和附图，所公开的主题的进一步特征、性质和各种优点将更加明显，其中：

图1为本申请实施例的视频系统的框图。

图2为本申请一些实施例的块划分的示意图。

图3为本申请实施例的块分解的示例。

图4为本申请一些实施例的平滑间隔长度的计算示例的示意图。

图5为本申请实施例的方法示例的概述流程图。