[发明专利]用于有损和无损图像压缩的基于形状自适应模型的编解码器

说明书

本发明涉及用于图像和视频压缩的方法和编解码器。本发明的实施例包括一种新颖的基于形状自适应模型的编解码器（SAM），其通过将输入形状分解成确定性和随机性分量以用于灵活的有损和无损编码而支持二进制形状以及抠像和软分割图像压缩。本发明可以提供帧间/帧内预测，并且利用用于压缩品质控制的各种参数而灵活地在有损和无损模式之间进行适配。所述压缩模块还可以利用众多其它压缩技术来被适配。

对相关申请的交叉引用

本申请要求2016年2月26日提交的序列号为62/300,502的美国临时申请的权益，所述美国临时申请据此通过引用以其全部被并入，包括任何图、表格或附图。

技术领域

本发明涉及在诸如电视广播或电影之类的场景中的视频序列内的对象中的形状信息的压缩，所述形状信息诸如二进制形状、抠像（matte）或软分割图像。它提供形状信息的无损和有损编码二者，并且因而允许在比特率和形状表示准确性（分辨率）之间的折衷。帧内和帧间编码还可用于进一步改善压缩中的编码效率。

背景技术

形状中的主要不连续性一般以形状图像的形式表示，所述形状图像中的每一个是对由主要不连续性所限定的前景和背景的量进行指示的图像。这也被称为抠像或软分割图像，并且在蓝屏技术中通常用于限定特定像素位置处的前景的量。它可以是具有范围从0到255的值的8位图像，该值指示此像素的软成员关系或不透明度，其中0没有贡献（即透明）并且255具有全贡献（即完全被看到）。如果仅仅需要对象的几何形状，那么形状图像可以被简化成二进制图像，其具有取值0或1的像素，这也被称为二进制形状/二进制阿尔法平面。该后者在可用比特率受限的时候在数据压缩中是令人感兴趣的。

迄今为止，不存在特别地特制用于对抠像和软分割图像进行编码的形状编解码器。它们通常被看作灰度图像，并且通过使用图像压缩算法来被编码。这样的途径不能在压缩中利用抠像和软分割图像的结构冗余性。对于二进制形状，存在两种现有技术编码途径，即基于轮廓的方法以及基于块的方法。在基于轮廓的方法中，形状的轮廓首先被顺时针（或逆时针）追踪，并且被分割成多个线段，作为最小处理单元。编码和解码过程顺序地被应用到每个单元使得形成轮廓。这后面是填充过程，用于重构原始形状信息。然而，基于轮廓的方法的主要缺点是它们需要相当大的预处理；然而，它们的压缩比低于基于块的方法在其无损模式中的压缩比。结果，基于块的方法更普及。

在基于块的途径中，二进制形状由相同大小的矩形所限制，所述相同大小的矩形包括视频对象平面（VOP）、亦称限位框（bounding box）的形状。这样的矩形将稍后被划分成规则的宏块、亦称微处理单元，在其中的每一个中，像素的阿尔法值通过使用熵编码方法被编码/解码。然而，基于块的途径的主要限制是采用具有相同大小的块，并且它们在相同的方向中被对准。因此，块中的一些可能不可避免地不包含任何涉及轮廓的信息，但是它们仍消耗存储空间（冗余块）。这些冗余通常限制基于块的方法的压缩比，尤其是在高分辨率图像中。

发明内容

本发明被设计成提供一种用于视频形状编解码器的解决方案，其需要更多的比特率灵活性并且还提供更好的视觉品质以及形状细节。存在本发明的许多应用，包括深度图（depth map）压缩以用于在3D视频处理中的视图合成。通过应用本发明的技术，经重构的边缘的不准确性可以进一步根据其纹理而被调节。特别地，本发明的形状编解码器可以调节比特率，而同时最小化形状边界上的不准确性，所述形状边界上的不准确性引起视觉伪像（artifact），尤其是在图像包含复杂纹理的情况下。在这样的情况中，形状边界（如果形状伴随有纹理的话）可以根据其纹理而利用不同的准确性水平来被编码，用于减小伪像的数目。