[发明专利]基于感兴趣区域的视频编码

权利要求书

1.一种视频处理单元，所述视频处理单元包括：

基于非对象的感兴趣区域检测神经网络，所述基于非对象的感兴趣区域检测神经网络被配置成接收视频帧并生成多个候选基于非对象的感兴趣区域块；

阈值选择模块，所述阈值选择模块被配置成接收所述多个候选基于非对象的感兴趣区域块并基于预定阈值标识多个选择的基于非对象的感兴趣区域块；和

感兴趣区域图生成器，所述感兴趣区域图生成器被配置成接收所述多个选择的基于非对象的感兴趣区域块并生成感兴趣区域图。

2.根据权利要求1所述的视频处理单元，其中所述基于非对象的感兴趣区域检测神经网络包括深度神经网络，所述深度神经网络包括被配置成确定所述多个候选基于非对象的感兴趣区域块和所述多个候选基于非对象的感兴趣块的对应的感兴趣概率的回归网络。

3.根据权利要求2所述的视频处理单元，其中所述阈值选择模块被配置成标识具有比所述预定阈值大的对应的感兴趣概率的所述多个选择的感兴趣区域块。

4.根据权利要求1所述的视频处理单元，其中所述候选基于非对象的感兴趣区域块包括像素值的预定矩阵大小的存储块。

5.根据权利要求1所述的视频处理单元，还包括：

视频编码器，所述视频编码器被配置成接收所述视频帧和所述感兴趣区域图并且基于所述感兴趣区域图对所述视频帧进行差分编码。

6.根据权利要求5所述的视频处理单元，其中所述感兴趣区域图包括与所述视频帧的多个存储块相对应的多个比特，其中第一比特值指示对应的存储块包括感兴趣区域并且第二比特值指示对应的存储块包括非感兴趣区域。

7.根据权利要求6所述的视频处理单元，其中：

与所述感兴趣区域图的具有所述第一比特值的比特相对应的存储块被以第一比特率编码；并且

与所述感兴趣区域图的具有所述第二比特值的比特相对应的存储块被以第二比特率编码，其中所述第二比特率小于所述第一比特率。

8.根据权利要求6所述的视频处理单元，其中：

与所述感兴趣区域图的具有所述第一比特值的比特相对应的存储块被以第一质量编码；并且

与所述感兴趣区域图的具有所述第二比特值的比特相对应的存储块被以第二质量编码，其中所述第二质量小于所述第一质量。

9.一种视频处理单元，所述视频处理单元包括：

人工智能加速器，所述人工智能加速器包括：

基于非对象的感兴趣区域检测神经网络，所述基于非对象的感兴趣区域检测神经网络被配置成接收视频帧并生成多个候选基于非对象的感兴趣区域块；

阈值选择模块，所述阈值选择模块被配置成接收所述多个候选基于非对象的感兴趣区域块并基于预定阈值标识多个选择的基于非对象的感兴趣区域块；

感兴趣区域图生成器，所述感兴趣区域图生成器被配置成接收所述多个选择的基于非对象的感兴趣区域块并生成感兴趣区域图；和

基于对象的感兴趣区域检测神经网络，所述基于对象的感兴趣区域检测神经网络被配置成接收所述视频帧并生成多个候选基于对象的感兴趣区域块；以及

中央处理单元，所述中央处理单元包括：

分类和非最大抑制(NMS)模块，所述分类和NMS模块被配置成接收所述多个候选基于对象的感兴趣区域块，基于关联概率针对相应的对象类型来对所述多个候选基于对象的感兴趣区域块进行分类，并且组合多个重叠的基于对象的感兴趣区域块以为相应的对象类型确定一个或多个感兴趣区域边界框。

10.根据权利要求9所述的视频处理单元，其中所述基于非对象的感兴趣区域检测神经网络包括深度神经网络，所述深度神经网络包括被配置成确定所述多个候选基于非对象的感兴趣区域块和所述多个候选基于非对象的感兴趣区域块的对应的感兴趣概率的回归网络。