[发明专利]一种视频抠图方法、装置、系统及存储介质

说明书

本申请提供一种视频抠图方法、装置、系统和存储介质，其方法包括：对初始视频进行编码得到视频码流并将视频码流分为三路；将第一路视频码流处理为低分辨率码流，提取低分辨率码流中的全局特征数据；提取第二路视频码流局部特征数据；根据全局特征数据、局部特征数据和解码处理得到低分辨率视频；将第三路视频码流处理为高分辨率码流，提取高分辨率码流中的边缘特征数据；对边缘特征数据进行解码后得到高分辨率视频；将低分辨率视频中的人形区域识别结果和高分辨率视频中的人形边缘识别结果融合后得到初始视频中的人形抠图结果。本申请的以上方案对初始视频的抠图结果具有高效率、高准确性、适用场景广泛和低成本的有益效果。

技术领域

本申请涉及视频流数据处理技术领域，具体地，涉及一种视频抠图方法、装置、系统和存储介质。

背景技术

在视频通话、监控或抓拍场景中，通常需要采用抠图算法从视频流数据的每一视频帧图像中抠出人脸图片。

目前，抠图的算法包括实时人像背景替换算法模型MODNet，其提出了一种简单、快速、稳定的实时人像抠图处理算法。该模型的优点是，只需要将摄像头拍摄的视频流信号输入模型即可输出人脸识别结果，不需要额外的真实背景作为输入。该模型的缺点是，仅适合与已有训练样本具有一致性的视频流数据，如果输入视频流信号中的背景与已有训练样本中的背景不具有相似性(即输入模型的视频流信号中的背景是模型并未“见过”的背景)，则模型输出的抠图结果会有一定程度的噪声。而MODNet模型的训练样本的规模并不大，导致其抠图算法的适用场景有限，如果重新对模型进行训练，成本又太高。在实际应用过程中，摄像头拍摄背景难以统一，无法保证输入模型的所以视频流信号的背景都是模型训练过程中处理过的情况，所以利用上述算法进行抠图处理，准确性会大打折扣。

在另一些方案中提出采用足够复杂的模型对视频流进行抠图，相同测试条件下利用复杂模型得到的抠图效果会优于MODNet模型。但是，这类复杂模型一般要求输入两路摄像头的视频信号，其中一路摄像头视频信号需记录真实背景，而且对于摄像头拍摄环境的光线稳定性和摄像头的参数稳定性要求很高，由于限制条件较为苛刻难以投入到实际应用中。

因此，需要对现有视频抠图算法进行改进。

发明内容

本申请提供一种视频抠图方法、装置、系统和存储介质，以解决现有技术中视频流抠图算法存在的准确性难以保证或者对于适用性差的技术问题。

本申请一部分实施例中提供一种视频抠图方法，包括如下步骤：

对初始视频进行编码得到视频码流并将所述视频码流分为三路；

对第一路视频码流进行降低分辨率处理后得到低分辨率码流，提取所述低分辨率码流中的全局特征数据；对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；

将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；

对第三路视频码流进行升高分辨率处理后得到高分辨率码流；提取所述高分辨率码流中的边缘特征数据；对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果；

将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。

本申请一部分实施例中提供的视频抠图方法，在将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据的步骤中还包括：

升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。

本申请一部分实施例中提供的视频抠图方法，对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据的步骤中：