[发明专利]基于特征的视频压缩

权利要求书

1.一种处理视频数据的计算机方法，包括计算机实施的步骤：

接收包括一系列视频帧的视频数据；以及

如下编码所述视频帧的部分：

在一个或者多个所述视频帧中检测候选特征的一个或者多个实例；

所述检测确定实例在一个或者多个先前已解码的视频帧中的位置信息，所述位置信息包括帧编号、所述帧中的位置以及所述实例的空间周长；

所述候选特征是一个或者多个已检测实例的集合；

由运动补偿预测过程使用一个或者多个先前已解码的视频帧来预测所述系列中的当前视频帧的部分；

所述运动补偿预测过程利用位置预测而被初始化，其中所述位置预测根据先前已解码的视频帧中已检测特征实例来提供所述位置信息；

使用通过增强所述运动补偿预测过程而变换的一个或者多个实例，定义特征以及经变换的实例以创建第一基于特征的模型，所述第一基于特征的模型支持在当前帧中预测实质匹配特征实例的外观和源位置，其中所述实质匹配特征实例是关键特征实例；

将所述第一基于特征的模型与一个或者多个已定义特征的常规视频编码模型进行比较；以及

根据所述比较确定哪个模型支持较大的编码压缩；以及

使用所述比较和确定步骤的结果，向一个或者多个所述视频帧的部分应用基于特征的编码，并且向所述一个或者多个视频帧的其他部分应用常规视频编码。

2.根据权利要求1所述的方法，其中在一个或者多个所述视频帧中检测候选特征的一个或者多个实例进一步包括：

通过识别具有实质上靠近的空间邻域的像素的空间连续群组，检测候选特征的至少一个实例；以及

所述识别的像素定义所述一个或者多个视频帧中的一个视频帧的部分。

3.根据权利要求2所述的方法，其中在一个或者多个所述视频帧中检测候选特征的一个或者多个实例进一步包括：

使用所述运动补偿预测过程，从多个候选特征实例中，选择被预测为提供编码效率的一个或者多个实例；以及

基于所述运动补偿预测过程从独特的先前已解码视频帧的预测选择，根据所述当前视频帧中的其他特征和非特征来确定所述候选特征的当前实例的分割。

4.根据权利要求2所述的方法，其中所述运动补偿预测过程使用属于一个或者多个特征的特征实例而被进一步初始化，此类特征在当前帧中具有与视频部分相一致的实例，其中所述视频部分在当前帧中。

5.根据权利要求2所述的方法，其中所述像素的群组进一步包括以下一个或者多个：宏块或者宏块的部分。

6.根据权利要求1所述的方法，进一步包括如下形成第二基于特征的模型：

使用所述第一基于特征的模型作为针对来自一个或者多个特征实例的一个或者多个运动补偿预测的预测目标，产生所述第一基于特征的模型的预测集合；以及

响应于被组合，所述预测集合变成所述第二基于特征的模型。

7.根据权利要求6所述的方法，其中所述第二基于特征的模型被用于对所述第一基于特征的模型的残差进行建模，包括：

对所述第二基于特征的模型相对于所述残差的结构变化和外观变化进行建模；

利用所述模型来编码所述残差，产生外观和形变参数；以及

使用所述参数来缩减所述残差的编码大小。

8.根据权利要求1所述的方法，其中定义一个或者多个特征进一步包括基于所述候选特征的一个或者多个所述实例，如下定义一个或者多个聚集特征：

将不同候选特征的实例聚集为聚集候选特征；以及

使用所述聚集候选特征的实例的集合来形成实质上大于未经聚集的候选特征的原始实例的区域，其中所述较大的区域通过识别所述集合中所述候选特征的实例之间的一致性而形成。

9.根据权利要求8所述的方法，其中所述一致性被定义为由较低的参数运动模型实质上逼近的、实例中的外观对应性。

10.根据权利要求7所述的方法，其中所述第二基于特征的模型提供与已解码的帧中的实例相关联的像素相对于所述空间位置的可选矩形区域范围。