[发明专利]一种基于时序信息的视频人脸分割方法、装置以及设备

权利要求书

1.一种基于时序信息的视频人脸分割方法，其特征在于，所述方法包括：

构建并训练人脸分割模型；其中，所述人脸分割模型设有用于捕获视频帧之间的时序信息的Temporal Module模块；

将人脸视频数据输入至所述人脸分割模型中并基于所述时序信息进行视频人脸分割处理，得到目标人脸分割结果。

2.根据权利要求1所述的一种基于时序信息的视频人脸分割方法，其特征在于，所述人脸分割模型基于Encoder-Decoder框架进行模型构建，所述人脸分割模型包括SegmentModule模块和Refine Module模块，所述Segment Module模块包括用于捕获视频帧之间的时序信息的Temporal Module模块；其中，

通过所述Segment Module模块对所输入的视频数据以及图像数据进行粗分割处理，得到Coarse-Mask，所述图像数据包括所述视频数据中各视频帧中的人脸图像；

通过所述Refine Module模块对所述Coarse-Mask进行微调处理，得到Refine-Mask；

将所述Coarse-Mask与所述Refine-Mask进行相加操作，得到预测的Mask结果。

3.根据权利要求2所述的一种基于时序信息的视频人脸分割方法，其特征在于，所述人脸分割模型的训练过程，包括：

将所述图像数据输入DECA模型中，生成对应的人脸视频序列，得到扩充后的视频数据；

分别对扩充后的所述视频数据和所述图像数据进行数据增强后，输入至所述人脸分割模型进行联合训练。

4.根据权利要求3所述的一种基于时序信息的视频人脸分割方法，其特征在于，所述将所述图像数据输入DECA模型中，生成对应的人脸视频序列，得到扩充后的视频数据，包括：

将所述图像数据输入所述DECA模型中，得到对应的3D信息；

通过控制所述所述图像数据的俯仰角、偏航角和滚转角进行人脸姿态的调整，并加入随机光照变换，得到对应连续角度变化的3D人脸；

将所述3D人脸投影成2D人脸，并将所述2D人脸与所述图像数据进行组合，生成对应的人脸视频序列，得到扩充后的所述视频数据。

5.根据权利要求3所述的一种基于时序信息的视频人脸分割方法，其特征在于，所述分别对扩充后的所述视频数据和所述图像数据进行数据增强后，输入至所述人脸分割模型进行联合训练，包括：

采用间隔训练的方式依次根据所输入的所述视频数据和所述图像数据训练所述人脸分割模型，其中，所述视频数据的维度为[B,T,C,H,W]，所述图像数据的维度为[B,C,H,W]，B、T、C、H、W分别表示批次大小、序列长度、通道数、高度和宽度；

分别利用第一目标函数L_v和第二目标函数L_i对所述视频数据和所述图像数据在训练过程中进行监督。

6.根据权利要求5所述的一种基于时序信息的视频人脸分割方法，其特征在于，所述采用间隔训练的方式依次根据所输入的所述视频数据和所述图像数据训练所述人脸分割模型，包括：

判断训练步数，当所述训练步数为偶数次时根据所述视频数据训练所述人脸分割模型，否则，根据所述图像数据训练所述人脸分割模型。