[发明专利]场景自适应的屏幕编码码率控制方法及其系统

说明书

技术领域

本发明涉及的是一种视频图像处理领域的方法及系统，具体是一种场景自适应的屏幕编码码率控制方法及其系统。

背景技术

屏幕视频编码，简称屏幕编码，指的是将显示于一台计算机屏幕的内容实时采集下来并对其进行压缩编码以降低数据量的方法，编码后的数据可以实时传输到远程终端上进行解码显示或者保存到本地文件中供事后回放，被广泛运用于远程教育、网络会议、远程桌面连接等领域。码率控制是视频编码的重要组成部分，指的是将压缩后的码流的比特率限定在一个预设的上限之下的技术手段，在屏幕编码中，由于计算机屏幕往往分辨率较高，编码数据量变化范围较大，码率控制对于编码后的视频质量和编码系统对不同的网络条件的适应能力有重要的作用。

在常见的需要对屏幕进行编码的应用中，既包含a.变化很小甚至基本不动的场景，例如在远程教育领域中老师在屏幕上播放ppt，可能很长时间才会翻过一页，又包含一些b.激烈变化的场景，例如老师在屏幕上播放一段演示视频以辅助教学，还包含c.上述a与b的混合或者交替的场景，即相较于传统自然视频，屏幕视频往往包括更加丰富的场景变化。而且人体视觉系统对于不同场景的视觉特性也不同：在变化很小的场景中侧重于画面的静态质量，即在上述ppt播放例子中要求画面清晰能够看清ppt中的所有文字并且尽量避免块效应等缺陷；而在变化激烈的场景中则侧重于画面的连续性，即在上述的视频播放例子中要求视频能够平滑变化流畅播放。

已有的视频编码码率控制方法大体上可以分为两种：以牺牲质量为代价降低码率和以牺牲帧率为代价降低码率。两者都以单一的方案应对屏幕中可能出现的不同场景，无法满足上述的屏幕编码时出现的情况的要求。

经对现有技术的文献检索发现：

美国专利号US2007/0153692A1的专利Methods and Apparatuses for Performing Scene Adaptive Rate Control(场景自适应码率控制方法与设备)提出了根据网络带宽和相邻帧变化部分调整目标码率和帧率进行码率控制的方法；

美国专利号US5872598的专利Scene Change Detection Using Quantization Scale Factor Rate Control(使用量化比例因子码率控制的场景切换检测)提出了根据计算当前帧与参考帧之间的绝对差值之和进行场景切换检测，若检测到场景切换则重新计算量化比例因子开始一个新的画面组的编码的码率控制方法；

中国专利申请号200910054923.4的专利屏幕编码的码率控制方法提出了一种利用典型屏幕场景下相邻帧往往变化较小的特点在固定的码率的上限之下分块分时按片收发的码率控制方法。

此外，Block-based method for real-time compound video compression，in Proceedings of Mobile Multimedia/Image Processing，Security，and Applications 2010，ser.Presented at the SPIE，vol.7708，Orlando，Florida，USA，Apr.2010，pp.77080S-77080S-8(基于分块的实时混合视频压缩方法)提出了一种基于单帧变化区域面积的码率控制方法，解决了在场景切换中传统的码率控制算法可能失效的问题；

Improved rate control and motion estimation for h.264 encoder，in Image Processing，2007.ICIP 2007.IEEE International Conference on，vol.5.IEEE，2007，pp.V-309(改进的H.264编码器码率控制和运动估计算法)中介绍了基于H.264框架实现的编码器x264中实现的码率控制算法，在其中适用于直播场景的单趟码率控制(one-pass RC)方法中，固定质量参数模式(CQP)使用固定的质量参数；平均码率模式(ABR)根据已编码数据的平均复杂度来预测当前帧的复杂度并以此选择量化参数；固定质量因子模式(CRF)使用固定的质量因子。