[发明专利]知晓对象的视频编码策略

说明书

相关申请的交叉引用

本申请要求2009年12月14日递交的美国临时申请序列号为61/284151的优先权，其全部内容通过引用被结合于此。

技术领域

本发明涉及知晓对象(object-aware)的视频编码。

背景技术

在许多视频编码应用中，必须在限制比特率的情况下对视频进行编码，例如，50-400kbps对于传送到移动设备而言是典型的。用低比特率来编码视频导致可视信息的丢失，并且因此，影响其主观质量或观看体验。在这种存在丢失的编码条件下，通过减少在显著或重要区域中的质量损失可提升主观质量。

在某些系统中，诸如图1中所示的对象高亮系统，检测到感兴趣的对象或区域，并且，通过预处理和/或使用知晓对象的编码器来更好地保留重要的对象，其编码后的质量被提升。由于对于观看者而言，能够清晰地看到视频中感兴趣的对象(诸如，在足球视频中的球或球员)是重要的，因此要这样做。

典型的知晓对象的编码器能够接收关于视频中的各种对象或区域的信息并使用该信息以便更好地保留重要的对象，并且因此，提升用户的观看体验。这种编码器通常通过利用对象信息来工作，以便引导诸如资源分配和模式判决之类的编码操作。

存在多种能够保留对象的方法，但是，针对给定的视频，选择一个方法可能不产生针对整个视频的最佳对象保留。如此，存在对如下对象保留方法的需要：该方法具有足够的反映性(reflexible)以最佳地保留整个视频。

发明内容

提供了一种知晓对象的视频编码方法，该方法包括如下步骤：接收具有多个帧的视频序列；选择至少两帧；确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域；将全部区域与阈值区域相比较；将至少两帧中每一个分类为低对象加权帧或高对象加权帧，该低对象加权帧是具有超过阈值区域的全部区域的帧，该高对象加权帧是具有未超过阈值区域的全部区域的帧；以及根据一种编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码。该方法还包括：确定帧中哪些宏块包含所述至少一个感兴趣的对象；确定所述至少两帧中的每一个的初始QP；对所述低对象加权帧的初始QP应用偏移；以及响应于应用步骤，增加对包含在所述至少一个感兴趣的对象中的宏块的比特分配。另外的步骤可包括针对那些连续的高对象加权帧，从帧处的时间掩蔽效应量来确定(106)每帧的QP偏移贡献(ΔQP_Masking)；将ΔQP_Masking与从帧类型所获得的QP偏移贡献(ΔQP_Type)相组合(110)；以及利用如下比特率来编码连续的高对象加权帧(114)，该比特率是通过利用与从帧类型所获得的QP偏移贡献(ΔQP_Type)相组合所算出的ΔQP_Masking来获得；计算(102)连续的高对象加权帧的帧复杂度；基于连续的高对象加权帧的每个GOP的GOP边界和GOP编码图样来选择(104)帧类型；以及基于帧类型来计算(106)每帧的QP偏移贡献(ΔQP_Type)，其中，所述从帧处的时间掩蔽效应量来确定(106)每帧的QP偏移贡献(ΔQP_Masking)的步骤是利用ΔQP_Masking(n)＝a·Compl_Masking(n)来执行的，其中，Compl_Masking(n)包括被计算为高对象加权帧的预定大小的窗口中的当前帧的邻近帧的均值的帧的时间掩蔽复杂度。该方法还包括如下步骤：在所有高对象加权帧上计算(108)平均ΔQP_Masking；归一化(110)ΔQP_Masking；以及计算(110)最终的每帧ΔQP；利用所计算的最终的每帧ΔQP来计算(112)所分配的比特预算和速率控制。所述计算高对象加权帧的每帧的帧复杂度(102)的步骤可通过利用前向帧间预测来执行。