[发明专利]微表情图像精细化分类方法、装置、设备及可读存储介质

说明书

本发明公开了微表情图像精细化分类方法、装置、设备及可读存储介质，包括：获取待分类微表情图像；将所述待分类微表情图像输入预先构建的微表情图像分类模型，输出微表情图像面部单元分类结果。本发明能够使得微表情图像分类的准确性得到有效的提升。

技术领域

本发明属于图像处理技术领域，具体涉及微表情图像精细化分类方法、装置、设备及可读存储介质。

背景技术

微表情是人脸面部动作的微小变化，传统的微表情识别方法例如局部特征算子(LBP)，梯度直方图(HOG)，光流法等受图像自身属性、特征构造方法往往关注像素级信息和特征构造方法源于经验等因素的影响，这些方法存在泛化能力不强，可解释能力不强的问题。

随着计算机视觉智能分析的发展，基于深度学习的微表情识别方法被提出。基于深度学习的微表情识别方法一般流程为：获取数据集，对数据集进行预处理，将预处理后的数据集送入深度学习模型中进行训练，根据训练结果进行微调，保存调整后的模型。目前基于深度学习的微表情识别方法主要分为两个大类，一类是基于七种基本情绪(喜悦，惊讶，轻蔑，厌恶，愤怒，恐惧，悲伤)的微表情多分类方法，一类是基于保罗.艾克曼博士提出的面部编码系统中面部单元识别的微表情多标签分类方法。微表情多分类方法相较微表情多标签分类方法更加成熟，数据集更加容易获取，模型更加成熟且迁移方便，但是直接使用微表情多分类方法得到的识别效果比较粗糙。目前微表情精细化识别存在数据集获取困难，公开模型较少，识别精度有待提高。传统网络模型只能采用人工方法，划分感兴趣区域，网络无法直接自动聚焦有用信息；传统卷积神经网络、残差网络特征复用、密集网络探索新特征效果欠佳。综上，微表情精细化识别存在网络无法直接自动聚焦有用信息，特征复用和探索新特征效果欠佳问题。

发明内容

针对现有技术中存在的问题，本发明提供了微表情图像精细化分类方法、装置、设备及可读存储介质，使得微表情图像分类的准确性得到有效的提升。

为了解决上述技术问题，本发明通过以下技术方案予以实现：

一种微表情图像精细化分类方法，包括：

获取待分类微表情图像；

将所述待分类微表情图像输入预先构建的微表情图像分类模型，输出微表情图像面部单元分类结果。

进一步地，所述微表情图像分类模型的构建方法为：

获取微表情图像以及微表情图像面部单元标签类别，对所述微表情图像进行预处理；

将预处理后的微表情图像以及微表情图像面部单元标签类别分为训练集和验证集；

利用训练集训练基于注意力机制的双路径卷积神经网络，得到所述微表情图像分类模型，所述微表情图像分类模型输出微表情面部单元图像分类结果。

进一步地，所述微表情图像分类模型构建时，以CASME、CASME2和CAS(ME)^2数据集作为原始数据集，进行面部单元编码。

进一步地，所述对所述微表情图像进行预处理，具体包括：

对微表情图像进行人脸检测与人脸对齐，人脸检测采用基于Pytorch实现MTCNN网络，获取人脸定位点Landmark；MTCNN网络由三个级联网络P-Net、R-Net和O-Net组成，采用候选框加分类器输出人脸的五个关键点坐标；

根据MTCNN网络输出的人脸的五个关键点坐标，采用仿射矩阵将人脸关键点进行对齐，并进行人脸归一化处理，输出处理后的微表情图像；

对处理后的微表情图像进行人脸裁剪，去除与人脸不相关的信息，得到最终的微表情图像。

进一步地，所述注意力机制的双路径卷积神经网络中，注意力机制采用CoordinateAttention机制，双路径卷积神经网络由密集网络与残差网络构成。