[发明专利]一种深度视频帧内智能编码方法

说明书

本发明公开了一种深度视频帧内智能编码方法，包括：构建由下采样‑上采样组成的变分辨率预测编码模式；对当前深度LCU下采样以降低其尺寸，得到低分辨率深度块并进行低分辨率编码；采用彩色特征辅助的卷积神经网络对编码后的低分辨率深度编码单元进行上采样，使用残差编码单元进行深度特征和彩色特征的提取；将提取的特征进行降维处理，然后将降维后的两种特征进行特征融合，得到最终的融合特征；将融合特征与离散余弦插值滤波的结果相加，使得训练过程的数据始终为预测值与真实值的残差；将上述步骤植入3D‑HEVC中作为一种新的帧内预测模式，并与其他帧内预测模式进行率失真代价比较以选择出最优预测模式。

技术领域

本发明涉及视频编码、深度学习领域，尤其涉及一种深度视频帧内智能编码方法。

背景技术

3D视频由于能够给用户提供身临其境的立体感受而受到广泛关注。3D-HEVC(新一代高效率视频编码标准3D版本)作为HEVC的3D拓展编码方法，除了编码每个视点的彩色视频序列之外，还需编码每个视点对应的深度视频序列。深度视频包含了场景的深度和视差信息，反映了场景中物体的远近、纵深和分布状况，其编码性能直接影响场景的立体感知质量。深度视频由大面积的平滑区域和锐利的边界构成。大面积平滑区域存在大量空间冗余，边界对于区分场景中不同的物体、前景与背景有着重要的作用，因此需要研究高效的深度视频帧内预测方法。

传统2D视频的帧内预测基于图像统计特性的方法，即研究已编码像素与待预测像素间的线性关系，通过已编码像素值预测出当前像素。其主要流程是将真实值与预测值作差得到的两者间的残差值，并编入码流进行传输；解码端将残差值与参考像素值相加，便能得到相应的预测结果。此外，一些基于深度学习的2D视频帧内预测研究也取得了进展。Li等提出了基于全连接网络的帧内预测编码方法，通过多个全连接层级联的方式学习从相邻重建像素到当前块的端到端映射，从而充分利用了当前块的上下文信息，提高了编码效率。Li等提出了一种基于卷积神经网络上采样的帧内预测编码方法，首先对下采样后的低分辨率块进行帧内预测，然后将预测块输入到上采样CNN(卷积神经网络)中恢复编码块尺寸，经过与传统帧内预测模式进行率失真优化选择最佳的预测模式，提高了帧内预测的性能。

深度视频帧内预测继承了传统2D视频帧内方法，并加入了一些针对深度图特性的编码工具，优化了深度视频编码性能。国内外一些学者基于深度视频特性构建预测模型，提出了一系列方法。考虑到深度视频独特的视觉特性，Merkle等提出基于几何基元残差编码的帧内预测方法以替换传统深度视频帧内预测和变换方法，该方法使用三角几何单元对深度编码单元进行建模，有效提高了深度视频帧内预测编码的性能。Lei等分析了深度视频和彩色视频之间的运动相似性和结构相似性，提出了基于深度彩色联合聚类的帧内预测模式、基于加权的多方向预测方法和简单高效的深度彩色边界不对齐检测及处理机制，有效提高了编码性能。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的深度视频编码研究关注的焦点主要是如何基于深度视频特性构建预测模型，提出的方法大多模式固定，缺乏对不同场景的鲁棒性；此外，由于深度视频和彩色视频的特性不同，直接将彩色视频智能编码方法应用到深度视频必然会造成编码效率的下降。

发明内容

本发明提供了一种深度视频帧内智能编码方法，本发明基于卷积神经网络优良地自主学习特性，结合深度图自身内容特性与彩色视频相似性，提高了深度视频编码性能，详见下文描述：

一种深度视频帧内智能编码方法，借助了卷积神经网络优良地自主学习特性，并利用彩色特征信息辅助深度视频重建，所述方法包括以下步骤：

1)构建由下采样-上采样组成的变分辨率预测编码模式；

2)采用对当前深度LCU下采样以降低其尺寸，得到低分辨率深度块并进行低分辨率编码；

3)采用彩色特征辅助的卷积神经网络对编码后的低分辨率深度编码单元进行上采样，使用残差编码单元提取深度特征和对应的彩色特征；