[发明专利]用于情绪状态监测的面部运动单元双流特征提取方法

权利要求书

1.一种用于情绪状态监测的面部运动单元双流特征提取方法，其特征在于，包括：

获取包含目标个体面部的待处理视频；

基于人脸检测器从待处理视频中提取目标个体的面部区域视频；

针对面部区域视频中的每张面部区域图像，对该面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；

针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序，依次将该预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；

针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；

针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到该预设面部子区域对应的目标特征信息；

针对每种预设面部子区域，确定与该预设面部子区域对应的目标特征信息匹配的标准情绪信息；其中，每种预设面部子区域均分别预先设置有至少一种标准情绪信息；

基于每种预设面部子区域对应的标准情绪信息，确定所述目标个体对应的情绪状态信息。

2.根据权利要求1所述的方法，其特征在于，所述针对面部区域视频中的每张面部区域图像，对该面部区域图像进行分割，分别得到每种预设面部子区域对应的图像，包括：

针对面部区域视频中的每张面部区域图像，利用AUU-NET卷积神经网络对该面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；其中所述AUU-NET卷积神经网络包括收缩路径和扩张路径，所述收缩路径包括至少一个运动单元残差模块，所述扩张路径包括至少一个运动单元残差模块，所述运动单元残差模块包括卷积层、正则化层和激活层，用于对输入信息和输出信息进行加权融合，确定运动单元残差模块最终的输出信息。

3.根据权利要求2所述的方法，其特征在于，所述运动单元残差模块的输出为：

式中，y为运动单元残差模块最终的输出信息，x为运动单元残差模块的输入信息，f(x)为输入信息经过运动单元残差模块的卷积层、正则化层和激活层后的运算结果，为基于输入信息对运算结果f(x)加权后的计算结果。

4.根据权利要求1所述的方法，其特征在于，所述预设面部子区域的类型包括以下至少一种：

眼部状态类型、眉毛状态类型、面颊状态类型、嘴部状态类型。

5.根据权利要求1所述的方法，其特征在于，所述基于人脸检测器从待处理视频中提取目标个体的面部区域视频，包括：

利用dlib人脸检测器，从待处理视频中提取目标个体的面部区域视频。

6.根据权利要求1所述的方法，其特征在于，所述循环神经网络为LSTM循环神经网络。

7.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络为Alexnet网络结构，包括5个卷积层、3个池化层和2个全连接层；

第二卷积神经网络为VGGNet-16网络结构，包含13个卷积层，5个池化层，2个全连接层。

8.根据权利要求1所述的方法，其特征在于，所述第二时空特征信息包括目标个体的微表情信息。

9.根据权利要求1所述的方法，其特征在于，所述标准情绪信息包括FACS的46种预设面部子区域所对应的情绪信息。