[发明专利]基于脸部微表情的认知状态识别系统及方法

权利要求书

1.一种基于脸部微表情的认知状态识别系统，其特征在于，包括，数据获取模块、数据处理模块和认知分类模型；

所述数据获取模块用于获取用于训练的视频数据，所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；

所述数据处理模块用于对所述视频数据进行处理，将所述视频数据截取为固定帧数的短视频；

所述认知分类模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；

将所述数据处理模块处理好的短视频输入所述认知分类模型对其进行训练；

所述AU区域划分模块用于针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；

所述特征提取模块用于将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；

所述预测模块用于将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；

所述检验模块用于对所述预测模块的结果进行显著性检验，确定差异AU；

所述分类模块用于将认知状态正常和状态异常作为类别标签，将所述差异AU的概率作为特征标签，使用SVM进行二分类，完成所述认知状态评估模型训练工作；

所述数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的所述认知分类模型；

所述认知分类模型输出评估结果。

2.根据权利要求1所述的基于脸部微表情的认知状态识别系统，其特征在于，

所述认知状态评估模型还包括预处理模块；

所述预处理模块用于通过VGG网络对输入至所述认知分类模型的短视频中的每一帧图像进行预处理后输入至所述AU区域划分模块。

3.根据权利要求1所述的基于脸部微表情的认知状态识别系统，其特征在于，

所述数据处理模块将所述视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。

4.根据权利要求3所述的基于脸部微表情的认知状态识别系统，其特征在于，

所述数据处理模块将所述视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。

5.一种基于脸部微表情的认知状态识别方法，其特征在于，包含以下步骤：

通过数据获取模块获取用于训练的视频数据，所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；

通过数据处理模块对所述视频数据进行处理，将所述视频数据截取为固定帧数的短视频；

搭建认知状态评估模型并通过处理后的短视频对所述认知状态评估模型进行训练；

再通过所述数据获取模块获取未知状态的测试对象的待识别视频数据并输入训练好的所述认知状态评估模型得到评估结果；

所述认知状态评估模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；

所述通过处理后的短视频对所述认知状态评估模型进行训练的具体方法为：

所述数据处理模块将处理后的短视频输入至所述认知状态评估模型；

通过所述AU区域划分模块针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；

通过所述特征提取模块将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；

通过所述预测模块将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；

通过所述检验模块对所述预测模块的结果进行显著性检验，确定差异AU；

将所述差异AU输入所述分类模块，将认知状态正常和状态异常作为类别标签，将所述差异AU的概率作为特征标签，使用SVM进行二分类，完成所述认知状态评估模型训练工作。