[发明专利]一种空间可分级视频编码方法及解码方法

说明书

本发明属于编解码的技术领域，公开了一种空间可分级视频编码方法，以视频图像中的各帧图像作为原始图像，将原始图像采用下采样方法得到各级增强层图像和基本层图像，其中，基本层图像为最下层，其他层为增强层图像；对基本层图像采用已有视频编码标准进行编码，输出基本层编码数据流，然后，采用图像超分技术和图像复原技术，计算当前增强层图像编码时需要的两个参考图像，从下至上逐一对各级增强层图像进行编码，输出各级增强层编码数据流，逐帧完成视频图像的编码。还公开了一种空间可分级视频图像解码方法。

技术领域

本发明属于视频编解码的技术领域，具体涉及一种空间可分级视频编码方法及解码方法。

背景技术

可分级编码是实现渐进编码的一种重要技术途径。编码器产生的码流包含一个或多个可以单独解码的子码流，子码流可以具有不同的码率，帧率和空间分辨率，其码流一般可分为一个基本层和若干增强层，基本层的传输优先级最高，应确保收到，当信道条件允许时，随着各增强层码字的接收解码，图像质量将不断提高。有空域、时域、信噪比可分级等方式：

时域可分级(Temporal scalability)：可以从码流中提出具有不同帧频的码流。

空间可分级(Spatial scalability)：可以从码流中提出具有不同图像尺寸的码流。

质量可分级(Quality scalability)：可以从码流中提出具有不同图像质量的码流。

H.264SVC(Scalable Video Coding)是以H.264为基础，在语法和工具集上进行了扩展，支持具有分级特性的码流，H.264SVC是H.264标准的附录G，同时作为H.264新的profile，H.264SVC在2007年10月成为正式标准，SHVC(SVC for HEVC)也于2014年10月纳入H.265标准附录H。

SVC在设计上有几处不足，首先，SVC EL宏块语法和解码过程与AVC完全不一样，无法在AVC解码器不经过更改的情况下直接解码SVC，甚至连BL都解码不了；其次，为了权衡计算负载与内存占用，SVC解码端有一个单循环约束(single-loop decoding constraint)，好处是无需解码所有层或重建所有RL就可以解码最高层图像，所带来的问题是它可以包含所有层帧内预测的编码宏块，但是不能包含所有层帧间预测的编码宏块，所以一旦EL某宏块使用了IntraBL，层间预测也必须从RL对应的帧内预测编码宏块进行，受约束的帧内预测用于RL的所有帧，RL的空间帧内预测只能在帧内预测编码空间的相邻块去寻找，不能从帧间预测编码空间的相关位置宏块中寻找；最后，不能在传输过程中任意时刻进行向下层级的转换，如果解码器一直在EL解码，那么在BL解码是不充分的，如果网络适应性优化策略在带宽不足的情况下把EL给丢弃了，那么BL也无法解码了，因为BL的时域参考没有了。

针对于SVC的不足，SHVC提出了新的思路，有两个指导原则：一是BL尽量做的通用，尽量在高层语法上而不是底层实现上做修改调整；二是继续高效发掘ILP来提升EL编码效率。

SHVC的BL有带内带外两种传输手段，前者需要解码器解复用，但解码本身就是标准的HEVC解码器；EL层解码器和标准的HEVC解码器差距仅仅是片头级或更高层语法的不同，块级逻辑都是相同的，这就满足了第一个原则。层间处理主要关注点在于如何用BL的DPB生成EL的DPB之间，这就使层间处理与每一层的编码解耦，此外和SVC的one-loop解码不同，SHVC使用multi-loop解码，允许了层间预测使用RL参考区域的所有像素点，为第二个原则奠定好了架构基础。SHVC显然比较SVC在编码效率上和通用性上更好，但是编解码复杂度上都有很大增加，给未来的实际应用带来了很大挑战，如对于一个8K视频来说，要实现空间可分级需要分别对1K，2K，4K，8K进行编解码，这样给实际应用带来了很多的计算量。

发明内容