[发明专利]基于特征的视频压缩

说明书

相关申请

本发明要求提交于2008年10月7日的美国临时申请No.61/103,362的优先权。而且，本申请是提交于2008年1月4日的申请No.12/522,322的部分继续申请，申请No.12/522,322要求提交于2007年1月23日的美国临时申请No.60/881,966的优先权，No.60/881,966与提交于2006年6月8日的美国临时申请No.60/811,890相关，且No.60/881,966为提交于2006年3月31日的美国申请No.11/396,010的部分继续申请，申请No.11/396,010是提交于2006年1月20日的美国申请No.11/336,366的部分继续申请，申请No.11/336,366为提交于2005年11月16日的美国申请No.11/280,625的部分继续申请，申请No.11/280,625为提交于2005年9月20日的美国请No.11/230,686的部分继续申请，申请No.11/230,686为提交于2005年7月28日的美国申请No.11/191,562的部分继续申请，现在美国专利No.7,158,680和美国专利申请No.11/396,010也要求提交于2005年3月31日的美国临时申请No.60/667,532以及提交于2005年4月13的美国临时申请No.60/670,951的优先权。通过引用将上述申请的全部教导结合于此。

背景技术

预测分割[主要]

常规视频压缩(例如MPEG-4以及H.264)具有这样的工具，其用于指定在运动补偿预测期间使用以便预测当前帧的多个参考帧。这些标准通常将参考帧限制为一个或者多个连续的前帧，且在一些情况下是先前已被解码的任何帧集合。通常，参考帧的数目是有限制的，而且选择过程可以在已解码帧的流中后退多远也是有限制的。

压缩感测(CS)

图像及视频压缩技术通常试图利用数据中的冗余，这允许在“少”量参数中捕获数据中最重要的信息。“少”相对于原始数据的大小而定义。事先并不知道哪些参数对于给定数据集而言是重要的。由此，常规的图像/视频压缩技术在选择将会产生最紧致编码的那些参数之前，将会计算(或者测量)相对大量的参数。举例来说，JPEG和JPEG2000图像压缩标准基于将图像像素转换成变换系数的线性变换(通常为离散余弦变换[DCT]或者离散小波变换[DWT])，由此得到与原始像素的数目相等的多个变换系数。在变换空间中，继而可以通过各种技术选择重要的系数。一个示例是标量量化。在极端情况下，标量量化等同于幅度阈值化。虽然DCT和DWT可以高效率地计算，但是在数据缩减之前计算完整变换的需要导致了低效率。该计算需要与用于这两个变换的输入数据的大小相等的多个测量。常规图像/视频压缩技术的这个特性使其不适于在要求高计算效率时使用。

常规压缩允许混合来自多个帧的多个匹配，以便预测当前帧的区域。混合通常是匹配的线性组合或者经过对数缩放的线性组合。这种双预测方法行之有效的一个示例是当从一个图像到另一图像存在随时间的衰落(fade)时。衰落的过程是两个图像的线性混合，并且有时可以使用双预测对该过程进行有效地建模。另外，MPEG-2内插模型允许对线性参数的内插，以便在多个帧内对双预测模型进行合成。

常规压缩允许指定一个或多个参考帧，据此可以得出对当前帧的编码的预测。虽然参考帧通常在时间上邻近当前帧，但是也可以在时间上邻近的帧的集合之外指定参考帧。

与常规基于变换的图像/视频压缩算法不同，压缩感测(CS)算法在测量(“感测”)步骤中直接应用数据中的大部分冗余。时域、空域和频域中的冗余是较高压缩率的主要贡献者。所有压缩感测算法的关键结果是：可以利用相对少量的、以及比常规压缩算法所要求的数量少得多的随机测量来感测可压缩信号。图像继而可以被精确且可靠地重建。给定已知的统计特性，可视信息的子集被用来推测其余数据。

给定的CS算法中所要求的测量的精确数目取决于信号的类型以及根据测量(系数)来重建信号的“恢复算法”。注意，CS算法以某种确定性对信号进行重建所需要的测量数目并不直接与算法的计算复杂性相关。举例来说，使用L1最小化来恢复信号的一类CS算法需要相对较小数目的测量，但是L1最小化算法非常慢(非实时)。因此，实用的压缩感测算法试图在所需要的测量数目与重建的精度和计算复杂性之间寻求平衡。与常规编解码器相比较，CS提供了完全不同的编解码器设计模型。