[发明专利]基于多特征融合和双流网络的微表情识别方法

权利要求书

1.基于多特征融合和双流网络的微表情识别方法，其特征在于，所述方法包括：

获取预设视频中微表情起始帧到结束帧的帧数据；

对所述帧数据进行峰值帧采集获得若干第一图像，对若干所述第一图像进行人脸裁剪获得若干第二图像；

对所述若干第二图像添加掩膜，获得若干第三图像；

对所述若干第三图像分别进行水平和垂直光流特征提取，获得若干第一水平光流特征图和若干第一垂直光流特征图；

利用面部动作算法对所述帧数据进行面部动作特征提取，对提取获得的面部动作特征进行归一化处理，获得若干第一面部动作特征图；

构建微表情识别网络，所述微表情识别网络包括输入层、第一网络通道、第二网络通道、融合层、分类层和输出层，所述输入层和所述输出层分别用于获得输入数据和输出分类结果，所述第一网络通道包括依次连接的子网络和第一全连接层，所述第一网络通道用于对第一输入数据进行处理获得第一处理结果；所述第二网络通道包括依次连接的第一卷积层、第一池化层、第二卷积层、第三卷积层、第二池化层、扁平化层和第二全连接层，所述第二网络通道用于对第二输入数据进行处理获得第二处理结果；所述融合层用于所述第一处理结果和所述第二处理结果进行拼接融合获得融合结果，并将融合结果输入第三全连接层处理后输入分类层进行分类处理；

利用所述若干第三图像、所述若干第一水平光流特征图、所述若干第一垂直光流特征图和所述若干第一面部动作特征图构建训练集，利用所述训练集训练所述微表情识别网络获得训练后的微表情识别网络，其中，训练微表情识别网络时，所述若干第三图像、所述若干第一水平光流特征图和所述若干第一垂直光流特征图输入所述第一网络通道，所述第一面部动作特征图输入所述第二网络通道；

获得待处理图像，将所述待处理图像输入训练后的微表情识别网络，获得所述待处理图像中的微表情识别结果。

2.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法，其特征在于，所述子网络为残差网络。

3.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法，其特征在于，利用裁剪框对所述第一图像进行人脸裁剪，在裁剪前，还包括对裁剪框的坐标进行归一化处理。

4.根据权利要求3所述的基于多特征融合和双流网络的微表情识别方法，其特征在于，对裁剪框的坐标进行归一化处理，具体包括：

累加帧数据中每个图像对应初始裁剪框的左上顶点坐标和宽度，获得累加结果；

基于所述累加结果分别计算左上顶点坐标和宽度的均值，获得第一均值和第二均值；

基于第一均值获得最终裁剪框的左上顶点坐标，基于第二均值获得最终裁剪框的宽度；

基于最终裁剪框的顶点坐标和宽度获得最终裁剪框。

5.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法，其特征在于，掩膜添加方式为：

选取预设视频中微表情的起始帧作为基线帧；

依次计算基线帧与基线帧的下一帧至峰值帧之间的各个像素值差值的绝对值，累加计算获得的绝对值获得总差值矩阵；

将所述总差值矩阵进行二值化处理获得二值化结果；

对所述二值化结果进行滤波处理，获得第一滤波结果；

将第一滤波结果中离散的微表情感兴趣区域进行融合获得融合结果；

对所述融合结果进行滤波处理，获得掩膜；

将掩膜与对应的原始图像进行融合获得掩膜后的图像。

6.根据权利要求1所述的基于多特征融合和双流网络的微表情识别方法，其特征在于，光流特征提取方式为：

将已添加掩膜的视频帧序列的第一帧作为基线帧；

通过基线帧对已添加掩膜的起始帧到结束帧依次计算光流信息，获得光流特征提取结果，其中，光流特征提取结果为二维矢量场，分别表示每个像素运动的水平和垂直分量。