[发明专利]一种针对屏幕视频帧间残差的基础色索引映射算法

说明书

技术领域

本发明涉及视频编码技术领域，具体涉及帧间残差的基础色索引映射(base color and index map,BCIM)算法。 

背景技术

屏幕视频是指包含文字、图形、图像与自然视频的混合视频，它由计算机产生并记录得到，可应用在云计算、远程连接等诸多方面。随着移动互联网的发展，工业界对屏幕视频的压缩要求越来越高。然而，屏幕视频的采集与传统视频不同。传统视频利用摄像机采集，因而，视频中不可避免的会引入噪声。但屏幕视频由计算机产生并记录得到，因而，可以认为是无噪的。除了采集方式不同外，屏幕视频的内容与传统视频也并不相同。传统视频一般指自然视频，它包含的内容均是自然界中真实发生的场景。但屏幕视频是一种混合视频，不仅包含由计算机产生的内容(诸如word文档、pdf文档、网页等)还可能包含传统视频。因而，传统视频与屏幕视频具有不同的特性，传统的视频编码方法并不完全适用于屏幕视频的编码。 

传统的视频编码标准如MPEG-2^[1]、H.264/AVC^[2]、HEVC^[3]等均是根据自然视频的特性设计形成的，因而，并不能直接应用到屏幕视频的编码中。为了充分的利用屏幕视频的特性，以对其进行高效地压缩编码，JCT-VC组织开展了针对屏幕视频编码的HEVC range extension标准制定工作。目前，有许多技术提案被提出，这些技术提案大体可以分成三类：帧内块拷贝(intra block copy)技术^[4-5]、变换跳过(transform skip)技术^[6-8]及基础色索引映射(BCIM)技术 ^[8-10]。本发明提出一种基础色索引映射算法。 

下面，我们简要介绍基础色索引映射算法的基本思想，以及它是如何节省码率的。由于屏幕视频中包含的文字及图形等内容，往往只包含少数几种像素值(例如，word文档中的文字，大部分都是黑色)，因而，我们可以通过聚类的方式将这几种像素值聚类出作为基础色，并形成基础色集合。对于视频帧中的每个像素点，我们不再用其自身的像素值表示，而使用集合中对应基础色的 索引来表示，从而，形成了一个索引映射。在编码时，将基础色及对应的索引映射传至码流中。这就是基础色索引映射技术的基本思想。为有效说明基础色索引映射技术如何有效节省码率，我们以一个8x8编码块为例进行说明。假设每个像素点均用8bit来表示，那么传输这个8x8块需要8x8x8＝512bit。假设将这个8x8块聚类成4个基础色，那么每个索引只需要2bit进行表示。在传输过程中，4个基础色先被传输，需要4x8＝32bit。接着，8x8大小的索引映射被传输，需要8x8x2＝128bit。因而，采用基础色索引映射技术，总共需要128+32＝160bit。相比于传统的技术，码率被节省。 

由于基础色索引映射技术有效，因而，在HEVC range extension的制定过程中，有许多关于它的技术提案，但这些提案多应用于帧内块。在本发明中，一种针对帧间残差的基础色索引映射算法被提出。 

发明内容

本发明提出一种将基础色索引映射技术应用于帧间的残差块的新方法。 

在该技术中，基础色信息、索引映射信息及一些其它信息均需要写入到码流中。因而，我们做了一个简单实验，以查看三部分信息所占用的码率情况。从表1可以看到，索引映射所占用码率最高，因而，在基础色索引映射技术中，高效的索引映射的熵编码十分重要。为达到该目的，在本发明中，我们提出两个子算法：YUV联合颜色量化算法及与上下文相关的分级熵编码算法。对于帧间的残差块，首先利用YUV联合颜色量化算法得到对应的基础色和索引映射。然后，利用上下文相关的分级熵编码算法对索引映射进行熵编码。基础色的熵编码则采用一般的CABAC算法。