[发明专利]基于深度学习先验的人脸表情识别方法

权利要求书

1.基于深度学习先验的人脸表情识别方法，其特征在于，具体按照以下步骤实施：

步骤1：使用带人脸面部动作单元标记的数据集CK+，对于其中每一幅图像I进行人脸检测；

步骤2：对步骤1中检测到的人脸图像I进行关键点定位；

步骤3：根据步骤2中定位之后的关键点计算人脸旋转角度θ，并根据旋转角度θ对人脸图像I进行逆向旋转，得到人脸正面图像I1；

步骤4：对步骤3得到的人脸正面图像I1进行二次检测，得到人脸左上角和右下角的坐标，并根据坐标对人脸正面图像I1进行剪切，得到人脸图像I2，并保存人脸图像I2；

步骤5：重复步骤1-4得到数据集E，将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络；

步骤6：将步骤5得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。

2.根据权利要求1所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤2关键点为5个关键点，分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or。

3.根据权利要求2所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤3的人脸旋转角度θ具体计算过程如下：

其中，(x₁₁，y₁₁)，(x₁₂，y₁₂)，(x₂₁，y₂₁)，(x₂₂，y₂₂)分别表示El、Er、Ol、Or的坐标。

4.根据权利要求1所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤5深度网络训练的具体过程如下：

步骤5.1：从数据集中读取若干幅图像记为Ins，将Ins中的每幅图像重置成大小为224*224得到图像集Ins1，并将网络中所有参数进行随机初始化；

步骤5.2：对于Ins1中所有图像进行卷积与最大池化处理，获得处理之后的特征图像A62；

步骤5.3：将5.2中得到的特征图像A62重置为25088×1的特征序列N7，使用维度为25088×2048的权重矩阵W₇和维度为2048×1的偏置矩阵b₇分别与特征序列N7计算可得维度为2048×1的特征序列N8，特征序列N8通过LeakyRelu激活函数得到特征矩阵A8，维度为2048×28的使用权重矩阵W₈和维度为28×1的偏置矩阵b₈分别与特征矩阵A8作运算可得到维度为28×1的特征矩阵N9，使用sigmoid函数激活特征矩阵N9得到网络输出A9，此时，A9表示人脸面部动作单元识别网络的对标签；

其中N9、N8计算公式为：

Q＝(w^T*Q′)+b

其中，w为权重矩阵的转置，b表示偏置矩阵，Q网络下一层的输入，Q′为网络上一层的输入，T为网络个数；

sigmoid计算公式为：

其中A_j表示输出A9的第j个元素，n_k表示N9的第k个元素；

步骤5.4：使用多标签交叉信息熵作为损失函数，并通过批处理梯度下降法最优化步骤5.3得到的人脸面部动作单元识别网络对标签，获得人脸面部动作单元识别网络。