[发明专利]一种基于时序信息的视频人脸分割方法、装置以及设备

说明书

本发明公开了一种基于时序信息的视频人脸分割方法、装置、设备及存储介质，其包括：构建并训练人脸分割模型；其中，所述人脸分割模型设有用于捕获视频帧之间的时序信息的TemporalModule模块；将人脸视频数据输入至所述人脸分割模型中并基于所述时序信息进行视频人脸分割处理，得到目标人脸分割结果。能够实现视频分割中不同帧之间不会产生跳变的效果，提高视频分割的稳定性。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于时序信息的视频人脸分割方法、装置以及设备。

背景技术

场景解析是为图片中的每一个像素分配一个标签，这是计算机视觉的一个基础研究课题，在图像编辑、自动驾驶等领域都有许多应用。人脸分割可以看作是场景解析的一个基础任务，人脸分割的结果可用于人脸编辑等多种任务。现实场景中的分割任务实际上是基于视频的而不是静态(图像)的。随着各类短视频应用的不断出现，海量的视频内容也随之产生，对视频进行解析也随之成为新的的需求，因此获取高质量的视频人脸分割是一个很重要的任务。而现有的视频人脸分割方法通过直接使用图像分割模型，忽略了视频的时序信息，从而造成视频不同帧之间的跳变的问题。

发明内容

有鉴于此，本发明的目的在于提出一种基于时序信息的视频人脸分割方法和装置以及设备，旨在解决现有的视频人脸分割造成视频不同帧之间的跳变的问题。

为实现上述目的，本发明提供一种基于时序信息的视频人脸分割方法，所述方法包括：

构建并训练人脸分割模型；其中，所述人脸分割模型设有用于捕获视频帧之间的时序信息的TemporalModule模块；

将人脸视频数据输入至所述人脸分割模型中并基于所述时序信息进行视频人脸分割处理，得到目标人脸分割结果。

优选的，所述人脸分割模型基于Encoder-Decoder框架进行模型构建，所述人脸分割模型包括Segment Module模块和Refine Module模块，所述SegmentModule模块包括用于捕获视频帧之间的时序信息的Temporal Module模块；其中，

通过所述SegmentModule模块对所输入的视频数据以及图像数据进行粗分割处理，得到Coarse-Mask，所述图像数据包括所述视频数据中各视频帧中的人脸图像；

通过所述Refine Module模块对所述Coarse-Mask进行微调处理，得到Refine-Mask；

将所述Coarse-Mask与所述Refine-Mask进行相加操作，得到预测的Mask结果。

优选的，所述人脸分割模型的训练过程，包括：

将所述图像数据输入DECA模型中，生成对应的人脸视频序列，得到扩充后的视频数据；

分别对扩充后的所述视频数据和所述图像数据进行数据增强后，输入至所述人脸分割模型进行联合训练。

优选的，所述将所述图像数据输入DECA模型中，生成对应的人脸视频序列，得到扩充后的视频数据，包括：

将所述图像数据输入所述DECA模型中，得到对应的3D信息；

通过控制所述所述图像数据的俯仰角、偏航角和滚转角进行人脸姿态的调整，并加入随机光照变换，得到对应连续角度变化的3D人脸；

将所述3D人脸投影成2D人脸，并将所述2D人脸与所述图像数据进行组合，生成对应的人脸视频序列，得到扩充后的所述视频数据。

优选的，所述分别对扩充后的所述视频数据和所述图像数据进行数据增强后，输入至所述人脸分割模型进行联合训练，包括：