[发明专利]一种基于残差分块的自适应多视点视频错误隐藏方法

说明书

本发明涉及一种基于残差分块的自适应多视点视频错误隐藏方法。新一代多视点视频编码标准MV‑HEVC一旦出现数据丢包，将影响与丢失帧相关联的所有帧，产生差错传播。本发明方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。本方法结合了丢失块邻块的时空域信息和帧间信息，对于多视点视频的中间视点码流丢失问题有较好的重建效果。

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于残差分块的自适应多视点视频错误隐藏方法。

背景技术

多视点视频有着极强的交互性和沉浸式的用户体验，但与之相对应的是几倍于单视点视频的数据量。虽然新一代多视点视频编码标准MV-HEVC极大地提高了多视点视频的压缩效率，但高压缩率意味着低冗余性和帧间的高相关性，即一旦出现数据丢包，影响的将不止是丢失帧这一帧，丢包问题将影响与丢失帧相关联的所有帧，进而产生差错传播。错误隐藏技术能利用解码端已正确接受的信息有效的重建丢失帧，因此广泛应用于多视点视频丢包问题。

发明内容

本发明的目的就是针对于新一代多视点视频编码标准MV-HEVC，提供一种基于残差分块的自适应多视点视频错误隐藏方法，针对在多视点视频流在传输过程中，中间视点发生错误的情况。

本发明方法是基于HTM平台，利用丢失块周围可用块的残差信息对丢失块进行块划分，并根据残差信息对丢失块划分后的子块重建顺序进行排序，最后使用时空域信息和视点间信息依序重建丢失块的子块。

本发明方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。具体如下：

(1).多方向加权残差重建：

首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：

R_T为丢失像素点上侧最相邻像素点的的残差值，R_B为丢失像素点下侧最相邻像素点的残差值，R_L为丢失像素点左侧最相邻像素点的残差值，R_R为丢失像素点右侧最相邻像素点的残差值，d₁、d₂、d₃和d₄分别为R_T、R_B、R_L和R_R到丢失点的距离，R_lost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0。

(2).丢失块自适应块划分：

首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化。具体是：

(2-1).初步块划分：

有效的块划分能提高丢失块的重建质量，而由于丢失块经过残差重建后其重建值能反映丢失块内的纹理结构，通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块。

当丢失块局部块的残差值大于整体丢失块时，对该局部块进行划分，否则不进行划分。

对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8×8，此时CU的划分深度为3。