[发明专利]表情识别及卷积神经网络模型训练方法、装置和电子设备

说明书

本发明实施例提供了一种表情识别及卷积神经网络模型训练方法、装置和电子设备，所述方法包括：通过卷积神经网络模型的卷积层部分和获取的待检测的人脸图像中的人脸关键点，对待检测的人脸图像进行人脸表情特征提取，获得人脸表情特征图；确定人脸表情特征图中与各个人脸关键点分别对应的ROI；通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；至少根据ROI特征图获取人脸图像的表情识别结果。通过本发明实施例，能够有效地捕捉细微的表情变化，同时能够更好地处理不同面部姿态带来的差异性，充分利用面部多个区域变化的细节信息，对细微的表情变化以及不同姿态的人脸有更准确的识别。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种表情识别方法、装置和电子设备，以及，一种卷积神经网络模型训练方法、装置和电子设备。

背景技术

人脸表情识别技术是指对给定的人脸图像指定一个表情类别，包括：愤怒、厌恶、开心、伤心、恐惧、惊讶等等。目前，人脸表情识别技术在人机交互、临床诊断、远程教育、侦查审讯等领域逐渐显现广阔的应用前景，是计算机视觉和人工智能的热门研究方向。

一种现有的人脸表情识别技术为基于传统机器学习框架的识别技术。使用该传统机器学习框架进行表情识别可以包括4个基本步骤：人脸检测、人脸特征提取、特征降维和根据特征分类。但是：第一，人脸特征提取需要人工设计并提取，其需要特定领域的专业知识；第二，相比深度特征(feature map)，经典的几何特征如Gabor filter、SIFT等抽象程度和表达能力弱；第三，传统的机器学习方法难以利用越来越多的训练数据，训练时长，且训练过程分散复杂。

由此，导致现有的表情识别成本较高，表情识别准确率较低。

发明内容

本发明实施例提供了一种表情识别技术方案。

根据本发明实施例的第一方面，提供了一种表情识别方法，包括：通过卷积神经网络模型的卷积层部分和获取的待检测的人脸图像中的人脸关键点，对待检测的人脸图像进行人脸表情特征提取，获得人脸表情特征图；确定所述人脸表情特征图中与各个人脸关键点分别对应的感兴趣区域ROI；通过卷积神经网络模型的池化层部分对确定的各ROI进行池化处理，获得池化后的ROI特征图；至少根据所述ROI特征图获取所述人脸图像的表情识别结果。

可选地，所述人脸图像包括静态人脸图像。

可选地，所述人脸图像包括视频帧序列中的人脸图像。

可选地，至少根据所述ROI特征图获得所述人脸图像的表情识别结果，包括：根据所述当前帧的人脸图像的所述ROI特征图，获取所述当前帧的人脸图像的初步表情识别结果；根据所述当前帧的初步表情识别结果和至少一在先帧的人脸图像的表情识别结果，获取所述当前帧的人脸图像的表情识别结果。

可选地，根据所述当前帧的初步表情识别结果和至少一在先帧的人脸图像的表情识别结果，获取所述当前帧的人脸图像的表情识别结果，包括：将所述当前帧的人脸图像的初步人脸表情识别结果与至少一在先帧的人脸图像的人脸表情识别结果进行加权处理，获得所述当前帧的人脸图像的表情识别结果，其中，所述当前帧的人脸图像的初步表情识别结果的权重大于任一在先帧的人脸图像的表情识别结果的权重。

可选地，根据所述当前帧的初步表情识别结果和至少一在先帧的人脸图像的表情识别结果，获取所述当前帧的人脸图像的表情识别结果之前，还包括：确定所述当前帧在视频帧序列中的位置大于或等于设定位置阈值。

可选地，所述方法还包括：响应于所述当前帧在所述视频帧序列中的位置小于设定的位置阈值，输出所述当前帧的人脸图像的人脸表情识别结果，和/或，保存所述当前帧的人脸图像的人脸表情识别结果。