[发明专利]基于深度学习和显著性感知的压缩视频流再编码方法

说明书

本发明提供了基于深度学习和显著性感知的压缩视频流再编码方法，包括以下步骤：构建和训练压缩域视频图像显著性检测深度学习模型；将待再编码的压缩视频图像X输入步骤1训练好的压缩域视频图像显著性检测深度学习模型CDVNet；利用压缩域视频图像显著性检测深度学习模型CDVNet对待再编码的压缩视频图像X部分解码；使用HEVC编码技术，结合每一编码单元更新后的量化参数进行视频图像再编码；本发明采用基于压缩域的显著性特征提取，在压缩码流中利用部分解码得到的数据信息进行显著性检测，克服了现有技术中基于像素域的显著性检测必须先全部解压这些压缩视频到像素域，然后才能进行特征提取和显著性检测的缺点，使得本发明具有计算量小、耗时低的优点。

技术领域

本发明涉及视频图像处理技术领域，尤其涉及视频图像压缩技术领域中一种基于深度学习和显著性感知的压缩视频流再编码方法。

背景技术

视频图像压缩技术的系统化和标准化，例如JPEG、JPEG2000、H.264/AVC、 HEVC等，使得海量的视频图像数据以压缩的形式存储和传输成为常态。受到商业、保密或者带宽等客观条件的限制，在某些压缩图像数据应用中，需要提供或者传输不同分辨率的图像数据。比如在带宽有限的网络上传输高清视频图像需要降低分辨率、减小传输速率；在天基一体的作战指挥系统中，从通信卫星传输到军事指挥中心的高光谱图像和传输到每个作战单兵的高光谱图像的等级也不相同。此外，现在市场上各种显示设备、通信终端的显示精度差别很大，也需要不同分辨率的视频图像。这就要求对已经压缩的视频图像数据进行有效的再编码，以便满足不同传输带宽、显示终端和通信终端等应用场景对不同码率的需要。

目前，压缩视频图像再编码主要采用两个独立的图像解码器和编码器相级联来实现，将输入压缩视频图像数据完全解码，还原出原始视频图像像素域的信号，然后再根据不同应用场景的要求进行第二次压缩。南瑞集团有限公司在其专利技术申请“一种视频图像再压缩方法”(专利申请号：201811379107.6，公开号： 109640100A)中公开了一种视频图像再压缩方法。该方法首先将压缩视频图像完全解码，然后根据SBD技术对原视频的分割形成的各视频段进行分类，对不同类型的视频段分别进行处理，最后再根据要求重新压缩。该方法在压缩比上取得了一定的效果，但是，这种“全解全压”的结构不能很好利用第一次压缩得到的信息，不但浪费计算、缓存资源，而且压缩时间长，很难做到实时处理。

发明内容

本发明的目的在于提供基于深度学习和显著性感知的压缩视频流再编码方法，能够克服现有技术中基于像素域的显著性检测必须先全部解压这些压缩视频到像素域，然后才能进行特征提取和显著性检测的缺点。

为了实现上述目的，本发明采用以下技术方案：

基于深度学习和显著性感知的压缩视频流再编码方法，包括以下步骤：

步骤1、构建和训练压缩域视频图像显著性检测深度学习模型，具体采用以下方法：

步骤1.1、对用于训练的压缩域视频图像的离散余弦变换DCT残差系数和对应的视频图像显著性映射图进行批归一化；

步骤1.2、将Resnext网络作为特征提取网络，利用特征提取网络的损失函数loss来构建压缩域视频图像显著性检测深度学习模型CDVNet；具体的：特征提取网络的损失函数loss为

其中，G(i,j)＝1表示第i行第j列残差DCT宏块所对应的图像位置是显著的，G(i,j)＝0表示第i行第j列残差DCT宏块所对应的图像位置是非显著的； S(i,j)表示预测出第i行第j列的残差DCT系数是显著性值的概率；其中α＝0.5，γ＝2,；进一步的，α取0.5用于平衡正负样本本身的比例不均；γ取2用于调节简单样本权重降低的速率；