[发明专利]人脸表情识别方法、电子设备及存储介质

说明书

本发明公开了一种人脸表情识别方法、电子设备及存储介质，利用各种移动设备进行实时拍摄获取用户的人脸图片信息；对图片人脸信息进行预处理和人脸提取，获取人脸的大致位置以及人脸的关键点信息；利用人脸位置信息对人脸图片进行裁剪，丢弃多余影响因素和干扰内容，保留人脸精确信息；对精确人脸图片进行多次特征提取，并多次使用倒残差结构进行特征提取，同时为减少参数计算量，使用深度可分离卷积进行特征提取；对提取的特征进行分类；对分类的向量进行归一化处理，得到各种表情的预测概率进行实时输出结果。本发明实现了在移动设备上进行实时人脸位置和表情的检测。

技术领域

本发明涉及移动设备和深度学习模型优化方法，特别是一种人脸表情识别方法、电子设备及存储介质。

背景技术

人脸表情识别是计算机视觉领域一大热点。人脸表情作为人类情绪的直接表达，是非语言交际的一种形式。人脸表情识别技术目前主要的应用领域包括人机交互(HCI)、安保、机器人制造、医疗、通信、汽车等。在人机交互、在线远程教育、互动游戏、智能交通等新兴应用中，自动面部表情识别系统是必要的。人脸表情识别的重点在于人脸表情特征的提取。对于人脸表情的提取，目前已出现两类特征提取方法。一种是基于传统人工设计的表情特征提取方法，如局部二值模型(Local Binary Pattern，LBP),梯度直方图(Histogram ofOriented Gradients，HOG)、尺度不变特征变换(Scale Invariant Feature Transgorm，SIFT)等，这些方法不仅设计困难，并且难以提取图像的高阶统计特征。另一种是基于深度学习的表情特征提取方法，目前深度神经网络已广泛应用在图像、语音、自然语言处理等各个领域。为了适应不同的应用场景，越来越多的深度神经网络模型被提出，例如AlexNet、VGG、GoogleNet和resNet，这些网络模型被广泛应用于各个领域，在人脸表情特征提取及分类上，也取得了不错的效果

随着深度神经网络模型的不断发展，其缺点也逐渐显现。网络模型的复杂化、模型参数的大量化等缺点，使得这些模型只能在一些特定的场合应用，移动端和嵌入式设备难以满足其需要的硬件要求。复杂网络模型对于硬件的高要求限制了其应用场景。

基于移动设备及深度卷积的人脸检测和表情识别的方法存在以下难点：

1.使用深度可分离卷积在低维上容易造成梯度丢失的问题，使得模型在训练时，进行梯度下降时梯度全为0，对模型准确率影响较大。

2.移动设备实时拍摄的图片包含过多的干扰和多余的图片信息。直接进行特征提取可能会导致模型预测结果准确度较低，且影响模型的鲁棒性。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种人脸表情识别方法、电子设备及存储介质，降低移动设备实时拍摄的图片的多余信息的干扰，最大程度提高预测模型的准确率和实时性。

为解决上述技术问题，本发明所采用的技术方案是：一种人脸表情识别方法，包括以下步骤：

S1、获取用户人脸图片；

S2、将所述人脸图片调整为张量；将所述张量输入前置特征提取网络，所述前置特征提取网络包括多个依次连接的特征提取层；所述张量输入前置特征提取网络的第一个特征提取层后，得到第一特征；所述第一特征输入至第二个特征提取层后，得到第二特征；依此类推，直至得到第N特征；其中，N为前置特征提取网络中特征提取层的数量；

对所述第N特征进行深度可分离卷积操作，得到第一结果，对得到的第一结果进行上采样，将上采样后的结果与第N-1特征相加，对相加的结果进行深度可分离卷积操作，得到第二结果，对得到的第二结果进行上采样，将上采样后的结果与第N-2特征相加，依此类推，直至得到第N结果；

对所述第一结果、第二结果、……、第N结果进行特征加强操作，分别得到第一加强特征、第二加强特征、……、第N加强特征；