[发明专利]人脸表情识别方法、电子设备及存储介质

权利要求书

1.一种人脸表情识别方法，其特征在于，包括以下步骤：

S1、获取用户人脸图片；

S2、将所述人脸图片调整为张量；将所述张量输入前置特征提取网络，所述前置特征提取网络包括多个依次连接的特征提取层；所述张量输入前置特征提取网络的第一个特征提取层后，得到第一特征；所述第一特征输入至第二个特征提取层后，得到第二特征；依此类推，直至得到第N特征；其中，N为前置特征提取网络中特征提取层的数量；

对所述第N特征进行深度可分离卷积操作，得到第一结果，对得到的第一结果进行上采样，将上采样后的结果与第N-1特征相加，对相加的结果进行深度可分离卷积操作，得到第二结果，对得到的第二结果进行上采样，将上采样后的结果与第N-2特征相加，依此类推，直至得到第N结果；

对所述第一结果、第二结果、……、第N结果进行特征加强操作，分别得到第一加强特征、第二加强特征、……、第N加强特征；

将所述第一加强特征、第二加强特征、……、第N加强特征分别输入head模块，得到人脸检测结果、人脸位置框坐标和人脸关键点坐标；

S4、若人脸检测结果含有人脸，则利用人脸位置框坐标对人脸图片进行裁剪，得到人脸精确图片；否则结束；

S5、对所述人脸精确图片进行多次深度可分离卷积操作，得到特征向量；

S6、利用所述特征向量计算表情概率，将最高概率对应的表情设定为表情分类结果；

优选地，还包括：

S7、将得到的人脸位置框坐标，人脸关键点坐标和表情在用户人脸图片上完成标注和显示。

2.根据权利要求1所述的人脸表情识别方法，其特征在于，步骤S4之后，步骤

S5之前，还包括：对人脸精确图片进行卷积处理；则，步骤S5替换为：

S5、对所述卷积处理后的人脸精确图片进行多次深度可分离卷积操作，得到特征向量。

3.根据权利要求1所述的人脸表情识别方法，其特征在于，第一特征的具体获取过程包括：对输入第1个特征提取层的张量进行卷积操作，将卷积操作的结果进行批标准化操作，使用激活函数对所述批标准后操作后的结果进行处理，对激活函数的输出进行深度可分离卷积操作，将深度可分离卷积操作的输出经过级联模块，级联模块的输出经过多次深度可分离卷积操作，得到第一特征；所述级联模块包括依次连接的卷积层、批标准化层和激活函数层。

4.根据权利要求1所述的人脸表情识别方法，其特征在于，第I特征的具体获取过程包括：对第I个特征提取层的输入进行多次深度可分离卷积操作，得到第I特征；其中，I＝2，3，……，N。

5.根据权利要求1所述的人脸表情识别方法，其特征在于，对第i特征进行特征加强操作的具体实现过程包括：

对第i特征依次进行卷积操作和批标准化处理，得到第一输出；

对第i特征进行多次深度可分离卷积操作，得到第二输出；

将上述第i特征进行一次深度可分离卷积操作后的结果进行多次深度可分离卷积操作，得到第三输出；

拼接第一输出、第二输出和第三输出，得到第一加强特征。

6.根据权利要求1所述的人脸表情识别方法，其特征在于，所述Head模块包括：人脸分类头，用于对输入特征进行第一卷积操作，再对第一卷积操作后的结果进行第一矩阵维度变换，输出人脸分类结果；

人脸位置框头，用于对输入特征进行第二卷积操作，再对第二卷积操作后的结果进行第二矩阵维度变换，输出人脸位置框坐标；

人脸关键点头，用于对对输入特征进行第三卷积操作，再对第三卷积操作后的结果进行第三矩阵维度变换，输出人脸关键坐标。

7.根据权利要求1所述的人脸表情识别方法，其特征在于，步骤S5的具体实现过程包括：

A)对所述人脸精确图片进行点卷积操作；

B)对点卷积操作后的输出进行深度可分离卷积操作，得到分离特征；

C)对所述点卷积操作后的输出进行点卷积降维操作，得到与所述人脸精确图片维度相同的输出结果；

D)对所述输出结果，重复上述步骤A)～步骤C)；

E)重复步骤D)n1次，得到特征向量。