[发明专利]一种视频抠图方法、装置、系统及存储介质

权利要求书

1.一种视频抠图方法，其特征在于，包括如下步骤：

对初始视频进行编码得到视频码流并将所述视频码流分为三路；

对第一路视频码流进行降低分辨率处理后得到低分辨率码流，提取所述低分辨率码流中的全局特征数据；对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；

将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；

对第三路视频码流进行升高分辨率处理后得到高分辨率码流；提取所述高分辨率码流中的边缘特征数据；对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果；

将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。

2.根据权利要求1所述的视频抠图方法，其特征在于，在将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据的步骤中还包括：

升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。

3.根据权利要求2所述的视频抠图方法，其特征在于，对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据的步骤中：

对所述第二路视频码流进行至少五个池化尺度解析处理，每一池化尺度处理包括：

对第二路视频码流降维处理得到池化尺度所需的降维后特征数据，对降维后特征图像执行卷积处理后得到卷积后特征数据；

对所述卷积后特征数据进行升维处理得到与所述第二路视频码流维度相同的池化特征数据。

4.根据权利要求1-3任一项所述的视频抠图方法，其特征在于，对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果的步骤中：

通过树形图解码器对所述低分辨率特征数据和所述局部特征数据进行低分辨率解码处理；

根据所述树形图解码器输出的树形图预测结果得到所述人形区域识别结果。

5.根据权利要求1-3任一项所述的视频抠图方法，其特征在于，对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果的步骤中：

通过边沿检测解码器对所述边缘特征数据进行高分辨率微调处理；

根据所述边沿检测解码器输出的边沿预测结果得到所述人形边缘识别结果。

6.一种视频抠图装置，其特征在于，包括：

编码器，用于对初始视频进行编码得到视频码流并将所述视频码流分为三路；

分辨率降低模型，用于对第一路视频码流进行降低分辨率处理后得到低分辨率码流；

全局特征提取模型，用于提取所述低分辨率码流中的全局特征数据；

局部特征提取模型，用于对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；

连接器，用于将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；

第一解码器，用于对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；

分辨率升高模型，用于对第三路视频码流进行升高分辨率处理后得到高分辨率码流；

边缘特征提取模型，用于提取所述高分辨率码流中的边缘特征数据；

第二解码器，用于对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果；

将融合模型，用于将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。

7.根据权利要求6所述的视频抠图装置，其特征在于，还包括：

分辨率恢复模型，用于升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。