[发明专利]一种基于卷积神经网络的帧间预测增强方法及系统

说明书

本发明涉及一种基于卷积神经网络的帧间预测增强方法及系统，使用BVI_DVC视频集制造神经网络训练集，在解码端找到16×16、32×32、64×64的亮度预测块与其对应的原始亮度当前块分别制作三个数据集。将三个数据集对三个相同结构的神经网络进行训练。三个神经网络分别对最小边长为16、32、64的矩形亮度参考块进行质量增强。最后从质量增强后的参考块推导出预测块，根据使用网络增强的效果来决定每个块是否使用该方法，并且将是否使用网络的标记位添加到码流中。实验证明该专利对比标准方案在亮度分量上可以降低1.10％的BDrate。

技术领域

本发明涉及一种帧间预测增强方法及系统，利用深度学习的方法对视频编码帧间预测中的CU块进行增强处理，属于图像处理技术领域。

背景技术

视频是信息的重要表现形式，相比于文字、语音、图片，视频凭借其真实、高效、直观等特点得到人们更多的关注，现已成为人们学习、工作、生活中不可或缺的重要组成部分。回顾视频发展史，从最初单调的黑白视频到后来具有更好视觉效果的彩色视频再到现在的高动态范围(High Dynamic Range,HDR)、多视角(Multi-View Video,MVD)、广色域(Wide Color Gamut,WCG)和高帧率(High Frame Rate,HFR)视频，人们对于视频感官效果的要求逐渐提升。一方面，随着互联网产业的高速发展，衍生出很多与视频相关的应用软件，每个人都可以成为视频创作者，这使得视频数据在互联网流量中的占比逐年提升。另一方面，由于人们生活、生产方式的进步，视频在人类社会生活中的应用领域也越来越广泛，包括视频点播(Video-on-demand,VoD)、直播和超低延迟实时通信等应用。由此可见，为了更好地在有限带宽与存储空间下满足视频传输与存储的需求，进一步提升视频编码效率就显得尤为关键。

视频编码是指将视频编码成二进制码流以便于视频存储和传输的技术。根据是否可以通过二进制码流无损地恢复出原始视频分为无损编码和有损编码。由于无损编码的编码效率较低，难以满足实际的编码需求，所以大部分的视频编码技术主要集中在有损编码领域。为了规范视频编解码流程，提高视频编解码的通用性，上世纪八十年代国际组织已开始建立国际视频编码标准。目前国际视频编码标准组织包括国际电信联盟标准化组织(ITU-T)下属的视频编码专家组(VCEG)和国际标准化组织/国际电工委员会(ISO/IEC)下属的动态图像专家组(MPEG)。当前最新的国际视频编码标准是VCEG和MPEG在2020年共同发布的通用视频编码标准(H.266/Versatile Video Coding,H.266/VVC)。相比于上一代国际视频编码标准高效视频编码标准(H.265/High Efficient Video Coding,H.265/HEVC)，H.266/VVC在保持视频主观质量不变的前提下，压缩效率提高了50％。

VVC/H.266的编解码流程如图1所示。首先，将原始视频信号分割成许多图像块，对每一个图像块进行单独的处理，然后经过预测模块。预测模块主要分为帧内预测和帧间预测。帧内预测主要是通过图像空间上的关系来推测当前块的内容。而帧内预测是通过连续帧之间的空间和时间关系来预测当前块的内容。将预测的图像(预测块)与原始信号图像(原始块)进行做差，就可以得到残差图像(残差块)。而后将残差块进行变化量化熵编码等操作进一步压缩视频的数据，最后输出视频的码流文件。解码器可以根据编码器输出的码流文件重建出视频信号。我们常见的视频压缩大多都为有损压缩，通过适当的牺牲图像的质量来换取高额的压缩比，因此，解码器重建的视频信号相较于原始视频是有损失的。