[发明专利]基于U-Net和LS-CNN的人脸表情识别方法

摘要

本发明提出了一种基于U‑Net和LS‑CNN的人脸表情识别方法，主要用于解决现有技术中存在的因人脸表情图像的全局信息不完整而导致人脸表情识别准确率较低的技术问题，实现步骤为：获取训练样本集C和待检测样本集V；构建基于深度卷积神经网络U‑Net和局部监督卷积神经网络LS‑CNN的人脸表情识别模型；对人脸表情识别模型进行迭代训练；基于训练好的人脸表情识别模型获取人脸表情识别结果。本发明通过U‑Net和LS‑CNN检测人脸表情图像中被遮挡或缺失的区域并降低该区域提取的特征的置信度，从而减小全局信息不完整对人脸表情识别的影响，能有效提高人脸表情识别的准确率，可用于人机交互、智慧教育、病人监护等领域。

主权项

1.一种基于U-Net和LS-CNN的人脸表情识别方法，其特征在于，包括以下骤：/n(1)获取训练样本集C和待检测样本集V：/n(1a)对从人脸表情数据库中随机选取的t幅人脸表情图像分别进行采样，并对采样得到的分辨率相同的t幅人脸表情图像进行归一化，然后对归一化后的t幅人脸表情图像的表情类别进行标注，再将归一化后的t幅人脸表情图像以及每幅归一化后的人脸表情图像对应的标签作为训练样本集C，其中，训练样本集C中标签的类别数为q，t≥3000，q≥3；/n(1b)对e幅待检测的人脸表情图像{s₁,s₂,…,s_j,…,s_e}分别进行采样，得到与训练样本集C中t幅人脸表情图像分辨率相同的e幅待检测人脸表情图像，并对采样后的e幅待检测人脸表情图像进行归一化，然后将归一化结果作为待检测样本集V，其中，s_j为第j幅待检测的人脸表情图像，e≥4；/n(2)构建基于深度卷积神经网络U-Net和局部监督卷积神经网络LS-CNN的人脸表情识别模型：/n(2a)构建包括n个简单卷积神经网络{T₁,T₂,…,T_i,…,T_n}和n个权重卷积神经网络{P₁,P₂,…,P_i,…,P_n}的局部监督卷积神经网络LS-CNN，其中，第i个简单卷积神经网络T_i包括输入层、多个卷积层、多个池化层、展平层；第i个权重卷积神经网络P_i包括输入层、多个卷积层、多个全连接层、归一化层，归一化层采用Sigmoid函数进行归一化；T_i的最后一个池化层与P_i的输入层连接，T_i的展平层与P_i的归一化层连接，n≥4；/n(2b)删除深度卷积神经网络U-Net反卷积路径中的输出层，并将LS-CNN中的n个简单卷积神经网络{T₁,T₂,…,T_i,…,T_n}的输入层与删除反卷积路径输出层的U-Net的最后一层并行连接，然后将{T₁,T₂,…,T_i,…,T_n}的n个展平层相加，得到向量层，在向量层后连接多个全连接层，得到基于深度卷积神经网络U-Net和局部监督卷积神经网络LS-CNN的人脸表情识别模型；/n(3)对人脸表情识别模型进行迭代训练：/n(3a)设置训练迭代次数为X，训练总迭代次数为Z，并令X＝1，Z≥20000；/n(3b)对人脸表情识别模型的权值进行初始化；/n(3c)将训练样本集C中的随机选取的m幅归一化后的人脸表情图像{g₁,g₂,…,g_k,…,g_m}及其对应的m个标签{l₁,l₂,…,l_k,…,l_m}作为人脸表情识别模型的输入，得到人脸表情识别模型中最后一个全连接层输出的m个概率向量{r₁,r₂,…,r_k,…,r_m}，并计算第k个概率向量r_k与第k个标签l_k的交叉熵损失o_k，然后求取m个交叉熵损失{o₁,o₂,…,o_k,…,o_m}的均值交叉熵损失O，其中，m≥4，r_k的维度大小与C中标签的类别数q相等；/n(3d)通过均值交叉熵损失O，对人脸表情识别模型的权值进行更新；/n(3e)判断X＝Z是否成立，若是，得到训练好的人脸表情识别模型，否则，令X＝X+1，并执行步骤(3c)；/n(4)基于训练好的人脸表情识别模型获取人脸表情识别结果：/n将待检测样本集V中的e幅人脸表情图像{s₁,s₂,…,s_j,…,s_e}作为训练好的人脸表情识别模型的输入，得到训练好的人脸表情识别模型中最后一个全连接层输出的e个概率向量{b₁,b₂,…,b_j,…,b_e}，并选择第j个概率向量b_j中最大概率值对应的表情类别作为待检测样本集V中的人脸表情图像s_j的表情识别结果h_j，得到待检测样本集V中的e幅人脸表情图像的表情识别结果{h₁,h₂,…,h_j,…,h_e}。/n