[发明专利]基于三维地图重建和抽取的子图的超低比特率编码方法

权利要求书

1.一种超低速率视频编码的方法，包括：

捕获视频流中的帧；

捕获所述帧的全局位置；

捕获所述帧的前进方向；

将所述全局位置和所述前进方向链接到所述帧；

基于所述帧的所述全局位置和所述帧的所述前进方向确定所述帧的前景；

确定所述前景内的至少一个感兴趣区域，其中所述感兴趣区域包括行人和车辆；

分析所述至少一个感兴趣区域；

基于所述全局位置和所述前进方向从所述帧中移除背景，其中所述背景与所述前景互补；

对所述前景、所述全局位置、所述前进方向和所述至少一个感兴趣区域进行编码；和

基于加速度计和陀螺仪中的至少一个来校准所述帧的角度；

其中所述前进方向由所述加速度计和所述陀螺仪中的至少一个提供。

2.根据权利要求1所述的超低速率视频编码的方法，还包括：将所述帧的所述全局位置和所述帧的所述前进方向存储到所述帧的元数据中。

3.根据权利要求2所述的超低速率视频编码的方法，还包括：将所述全局位置和校准的角度存储到所述帧的所述元数据中。

4.根据权利要求1所述的超低速率视频编码的方法，还包括：分割所述背景、所述前景和所述至少一个感兴趣区域。

5.根据权利要求4所述的超低速率视频编码的方法，还包括：识别所述前景中的对象。

6.根据权利要求1所述的超低速率视频编码的方法，还包括：在去除所述背景之后，基于所述视频流内的其余帧确定场景复杂度。

7.根据权利要求6所述的超低速率视频编码的方法，还包括：在去除所述背景之后，基于所述视频流内的所述其余帧确定场景重要性。

8.根据权利要求1所述的超低速率视频编码的方法，还包括：在所述前景中量化所述至少一个感兴趣对象。

9.根据权利要求1所述的超低速率视频编码的方法，还包括：将天气信息和时间存储到所述帧的元数据中。

10.根据权利要求1所述的超低速率视频编码的方法，还包括利用所述前景、所述全局位置和所述前进方向重建所述帧。

11.根据权利要求1所述的超低速率视频编码的方法，还包括：抽取所述捕获的帧。

12.一种超低速率视频解码的方法，包括：

解码视频流内的帧的已编码前景，其中所述已编码前景至少包括所述帧的全局位置和所述帧的前进方向，其中所述前景包括至少一个感兴趣区域，所述至少一个感兴趣区域包括行人和车辆；

提取所述帧的所述全局位置和所述帧的所述前进方向；

基于所述帧的所述全局位置和所述帧的所述前进方向接收局部图像；

混合所述局部图像和所述前景；和

如果所述局部图像不可用，则对所述帧的抽取比特流和上采样进行解码。

13.根据权利要求12所述的超低速率视频解码的方法，其中，所述混合是部分地基于天气信息和时间。

14.根据权利要求12所述的超低速率视频解码的方法，还包括：从所述前景并从所述已编码前景的元数据中提取至少一个感兴趣区域。

15.根据权利要求12所述的超低速率视频解码的方法，还包括：在所述局部图像和所述前景的交叉点处进行自适应混合。

16.根据权利要求15所述的超低速率视频解码的方法，还包括：在所述局部图像和所述前景的所述交叉点处进行特征匹配。

17.根据权利要求15所述的超低速率视频解码的方法，还包括：在所述局部图像和所述前景的所述交叉点处进行多频带混合。