[发明专利]一种深度视频帧内智能编码方法

权利要求书

1.一种深度视频帧内智能编码方法，其特征在于借助了卷积神经网络优良地自主学习特性，并利用彩色特征信息辅助深度视频重建，所述方法包括以下步骤：

1)构建由下采样-上采样组成的变分辨率预测编码模式；

2)对当前深度LCU下采样以降低其尺寸，得到低分辨率深度块并进行低分辨率编码；

3)采用彩色特征辅助的卷积神经网络对编码后的低分辨率深度编码单元进行上采样，使用残差编码单元提取深度特征和对应的彩色特征；

4)将提取的彩色特征与深度特征进行降维处理，然后将降维后的两种特征进行特征融合，得到最终的融合特征；将融合特征与离散余弦插值滤波的结果相加，使得训练过程的数据始终为预测值与真实值的残差；

将上述步骤1)-4)植入3D-HEVC中作为一种新的帧内预测模式，并与其他帧内预测模式进行率失真代价比较以选择出最优预测模式。

2.根据权利要求1所述的一种深度视频帧内智能编码方法，其特征在于，所述方法还包括：利用更多相邻区域信息，进行二次上采样。

3.根据权利要求1所述的一种深度视频帧内智能编码方法，其特征在于，在提取深度特征之前首先提取浅层特征，使用一个反卷积层将输入深度CU由图像域映射至特征域得到浅层特征，所述浅层特征具体为：

其中，DF^D为反卷积操作，为提取的浅层特征，I_D为深度流的输入。

4.根据权利要求1所述的一种深度视频帧内智能编码方法，其特征在于，所述深度特征具体为：

第n个RCU被表示为：

其中，n＝1，2...N；为第n个RCU过程，为第n个RCU的输入，Sum为相加算子，和为第n个RCU中的两个连续卷积操作。

5.根据权利要求1所述的一种深度视频帧内智能编码方法，其特征在于，所述将提取的彩色特征与深度特征进行降维处理，然后将降维后的两种特征进行特征融合具体为：

其中，和分别为使用残差编码单元提取的深度特征和彩色特征，和分别为用于深度特征和彩色特征降维的卷积操作。