[发明专利]用于移动端的视频解码方法、系统、存储介质及电子设备

说明书

本发明公开用于移动端的视频解码方法、系统、存储介质及电子设备，其中该方法包括：获取视频并进行HEVC解码，得到多个编码块；依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的帧数据；对所述优化后的帧数据进行环路滤波处理并播放。该系统实现上述用于移动端的视频解码的方法，从超分模型和解码两个方面减少视频的超分计算量，实现了在移动端实时超分视频，从而提升用户的观看体验。

技术领域

本发明涉及图像处理技术领域，尤其涉及用于移动端的视频解码方法、系统、存储介质及电子设备。

背景技术

图像超分，是从一幅低分辨率图像或低分辨率图像序列中恢复出高分辨率图像的技术。近年来，基于深度卷积神经网络(CNN)的方法在图像超分方面取得了显著进展，出现了许多优秀的图像超分方法，但是大多数现有超分方法只是注重峰值信噪比(PSNR)和一些图像主观效果，对模型的复杂度及计算量都不进行考虑，导致运算量较大，即使在一些高端的机器学习主机上，运行模型都比较慢，在移动设备实现现有超分方法的难度更大。

例如，SRCNN超分方法的网络结构包含三个卷积层，使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。分为三个步骤：图像块的提取和特征表示，特征非线性映射和最终的重建。但是，SRCNN超分方法中的卷积核比较大，数据的图像维度比较大，计算比较复杂，神经网络深度比较浅，超分效果不好。

又如，ESPCN超分方法的网络输入是原始低分辨率图像，通过三个卷积层后，得到通道数为r²的与输入图像大小一样的特征图像。再将特征图像每个像素的r²个通道重新排列成一个r×r的区域，对应高分辨率图像中一个大小为r×r的子块，从而大小为H×W×r²的特征图像被重新排列成rH×rW×1的高分辨率图像。但是，ESPCN超分方法的神经网络深度不够，超分效果不好，而且每次都超分一张完整的图片，没有考虑在解码端配合使用，效率相对较低。

因此，如何在性能较低的移动终端上，既能与解码器相结合，又能减少视频的超分计算量，以实现在移动端实时优化视频流，同时不显著增加移动端的功耗，成为一大难题。

发明内容

本发明的目的在于提供用于移动端的视频解码方法、系统、存储介质及电子设备，将解码过程与超分技术相结合，在性能较低的移动端上实现了实时优化视频流，同时减少了视频的超分计算量，不显著增加移动端的功耗，从而提升用户的观看体验。

为了实现上述目的，本发明提供如下技术方案：

一种用于移动端的视频解码方法，包括：

获取视频并进行HEVC解码，得到多个编码块；

依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的编码块；其中，所述优化处理包括：超分处理、双立方拉伸处理，或复制参考帧的超分数据；

将所述优化后的编码块整合成多条帧数据，对所述帧数据进行环路滤波处理并播放。

具体地，依据所述编码块的类型对所述编码块分别进行优化处理编码块的方法包括：

判断所述编码块的类型，所述类型包括帧间块、帧内块和SKIP块；

若所述编码块的类型为帧间块，则利用超分模型对所述编码块进行超分处理；

若所述编码块的类型为帧内块，则进一步判断所述编码块的量化参数QP；若量化参数QP不小于30则对所述编码块进行双立方拉伸处理，若量化参数QP小于30，则利用超分模型对所述编码块进行超分处理；

若所述编码块的类型为SKIP块，则复制参考帧的超分数据。