[发明专利]一种基于深度学习的帧内编码优化方法

说明书

本发明提供一种基于深度学习的帧内编码优化方法，涉及视频编码技术领域，在帧内预测之前对输入的视频数据进行纹理分析，对于纹理分析后可以确定预测模式的视频数据直接赋予相应的预测模式，对于模式不确定的视频数据则其放进神经网络中进行预测后再赋予其相应的预测模式，然后得到模式对应的编码，最后通过这些模式编码获得帧内检测后的数据，本发明运用神经网络的方法自适应地选择帧内预测模式，在神经网络准确率较高的情况下，此方法可以在满足编码性能的前提下降低编码复杂度，大大减少编码时间，实现实时编码。

技术领域

本发明涉及视频编码技术领域，尤其涉及一种基于深度学习的帧内编码优化方法。

背景技术

视频编码技术致力于将视频压缩后得到便于传输的码流，尤其是在目前的网络带宽下传输高清视频。近年来，随着拍摄视频的硬件和技术的不断进步，出现了2K、4K乃至8K的视频。为了应对超高清视频的传输要求，2013年，视频编码联合组(Joint CollaborativeTeam on Video Coding(JCT-VC))提出了新一代视频编码标准HEVC(High EfficiencyVideo Coding)，HEVC比上一代AVC 性能提升了50％左右，在高清视频编码时表现尤为突出。HEVC改进的技术包括基于四叉树的编码单元数据结构，多角度预测模式，可变尺寸块变换单元，基于变换系数扫描的预测方向选择等技术。在所有的技术中，率失真优化技术显得尤为重要，率失真优化技术计算各种不同技术组合(编码模式、相关系数和CU(CodingUnit)分块模式等)情况下的RD(Rate-Distortion)costs后，选取RD costs 最小的组合。在帧内预测中，率失真优化技术可以用来选择帧内预测模式。在 HEVC中，有33种角度预测模式和DC以及Planar两种非方向模式，在计算总共 35种预测模式的RD costs后选择最优的模式。虽然这种做法可以得到最优的预测模式，但同时也大大增加了编码的复杂度。在确保编码质量的情况下减小编码的复杂度成为现在研究的难点问题。

发明内容

本发明的目的在于：为解决现有技术中编码质量和编码复杂度无法兼顾的问题，本发明提供一种基于深度学习的帧内编码优化方法。

本发明的技术方案如下：

一种基于深度学习的帧内编码优化方法，在帧内预测之前对输入的视频数据进行纹理分析，对于纹理分析后可以确定预测模式的视频数据直接赋予相应的预测模式，对于模式不确定的视频数据则其放进神经网络中进行预测后再赋予其相应的预测模式，然后得到模式对应的编码，最后通过这些模式编码获得帧内预测后的数据。

具体地，所述纹理分析的步骤为：

S1：将输入的视频数据划分成多个预测单元；

S2:将每个预测单元中的亮度分量进行归一化处理；

S3：计算每个预测单元中每个像素的梯度方向，统计不同梯度方向的像素个数；

S4：计算每个预测单元中不同梯度方向的像素占比，对于占比大于等于一定的阈值的预测单元，赋予其相应的预测模式，对于其余的预测单元，则其放进神经网络中进行预测后再赋予其相应的预测模式。

具体地，帧内预测的步骤为：

S5：对纹理分析后的视频数据分为亮度分量和色度分量，并对亮度分量经过数据处理转换为列向量；

S6：得到的列向量放入训练好的卷积神经网络模型进行模式预测，根据得到预测模式得到亮度模式编码；同时，直接对色度分量进行预测模式预测，

S7：分别根据亮度预测模式和色度预测模式得到的预测模式得到亮度模式编码和色度模式编码，根据亮度模式编码和色度模式编码得到帧内预测后的数据。

具体地，所述S3的具体过程为：

一阶微分处理一般对灰度阶梯有较强的响应，一阶微分：