[发明专利]表情识别方法、装置、计算机设备和计算机可读存储介质

权利要求书

1.一种表情识别方法，所述方法包括：

获取多个表征人脸表情的人脸图像；

识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；

对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；

对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；

基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别；

所述眼部特征向量包括眼部三元模式向量；通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量；

其中，ELDTP_p为所述眼部三元模式向量，μ为眼部特征图的平均特征值，SI_c、SI_p分别为眼部特征图的中心像素值和边缘像素值，ER_c、ER_p分别为眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数；所述眼部特征图是对所述眼部区域图进行提取后得到的。

2.根据权利要求1所述的方法，其特征在于，所述获取多个表征人脸表情的人脸图像包括：

获取摄像组件拍摄的实时人脸表情图像；

将所述实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；所述人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；

通过人脸特征点法识别所述初始人脸图像中的人脸，得到所述人脸表情图像集对应的多个人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：

将每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；

对所述眼部区域灰度图和所述嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；

通过掩膜对每个所述眼部特征图和对应的所述嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；

基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量；

基于多个所述嘴部特征图和多个所述嘴部掩膜特征图，生成对应所述人脸图像的嘴部特征向量。

4.根据权利要求3所述的方法，其特征在于，所述掩膜包括Kirsch算子和二阶导数高斯算子；所述通过掩膜对每个所述眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：

通过所述Kirsch算子对每个所述眼部特征图进行卷积处理，得到对应的边缘特征；

通过所述二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；

将所述边缘特征和所述中心特征组合，形成卷积后的眼部掩膜特征图。

5.根据权利要求3所述的方法，其特征在于，所述基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量包括：

根据每个所述眼部特征图的像素值，计算所述眼部特征图的平均特征值；

基于所述眼部特征图的平均特征值和各个像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的各个像素值，计算得到所述人脸图像的眼部特征向量。

6.根据权利要求5所述的方法，其特征在于，所述眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；所述通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量包括：

当时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部下三元模式向量；其中，T为预设阈值；

当时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部上三元模式向量。