[发明专利]一种基于卷积神经网络的人脸表情识别方法

权利要求书

1.一种基于卷积神经网络的人脸表情识别方法，其特征在于，包括以下步骤：

S1、从视频中获取人脸图像；

S2、对获取到的人脸图像进行尺度归一化操作处理，得到尺寸相同的人脸图像，并对所述尺寸相同的人脸图像进行对齐预处理操作，得到预处理后的人脸图像；

S3、使用卷积神经网络对预处理后的人脸图像进行特征提取操作，得到人脸图像的特征；

S4、利用Softmax分类器对所述人脸图像的特征进行分类识别操作，得到表情识别结果。

2.如权利要求1所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于，步骤S3的具体操作步骤包括：

S31、创建卷积神经网络；

S32、利用卷积神经网络对预处理后的人脸图像进行特征提取操作，并通过反向传播算法对卷积神经网络的权重和偏置进行更新优化。

3.如权利要求2所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于：步骤S31中的卷积神经网络包括三个卷积层、三个池化层、三个全连接层，三个所述卷积层分别为第一卷积层、第二卷积层、第三卷积层，三个所述池化层分别为第一池化层、第二池化层、第三池化层，三个所述全连接层分别为第一全连接层、第二全连接层、第三全连接层；

步骤S32中的利用卷积神经网络对预处理后的人脸图像进行特征提取操作的具体步骤包括：预处理后的人脸图像依次经过数据输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、第三全连接层，得到人脸图像的特征。

4.如权利要求3所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于：所述第一卷积层的卷积核的大小设置为7×7，单位为像素，步长设置为4，单位为像素，填充设置为0，单位为像素；第二卷积层的卷积核的大小设置为5×5，单位为像素，步长设置为1，单位为像素，填充设置为2，单位为像素；第三卷积层的卷积核的大小设置为3×3，单位为像素，步长设置为1，单位为像素，填充设置为1，单位为像素；所述第一池化层、第二池化层、第三池化层的卷积核的大小均设置为3×3，单位为像素，步长设置为2，单位为像素，填充设置为0，单位为像素；第一全连接层的卷积核的大小设置为1×1，单位为像素，向量的维数设置为4096维；第二全连接层的卷积核的大小设置为1×1，单位为像素，向量的维数设置为4096维；第三全连接层的卷积核的大小设置为1×1，单位为像素，向量的维数设置为7维。

5.如权利要求3或4所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于，步骤S32中的通过反向传播算法对卷积神经网络的权重和偏置进行更新优化的具体步骤包括：

S321、给定卷积神经网络一个样本(x,y)，x为输入样本，y为预测的输出值，通过卷积神经网络对预处理后的人脸图像进行前向传播运算，得到第三全连接层的输出值h_w,b(x)；

S322、利用卷积神经网络中的第一卷积层、第二卷积层、第三卷积层、第一全连接层、第二全连接层中的每一个节点i和第三全连接层的输出值h_w,b(x)，得到第三全连接层的输出值h_w,b(x)与实际输出值之间的差值即为残差；

S323、对于卷积神经网络的隐藏层单元，所述隐藏层单元包括第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层，设m个样本的数据集为：{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，即m个样本的数据集包括m个样本(x,y)，对于每一个样本(x,y)的代价函数J(W,b；x,y)为公式(1)：

其中，W为卷积神经网络的权重，b为卷积神经网络的偏置，h_W,b(x)为第三全连接层的输出值，x为输入样本，y为预测的输出值；

m个样本的数据集的整体误差为通过反向传播算法更新参数W，b的具体步骤如下：

首先计算输出层即为第三全连接层的残差

其中，为第一卷积层、第二卷积层、第三卷积层、第一全连接层、第二全连接层中的第l层第i个节点的激活值，为第l层第i个节点的输入加权和，为对求导数，y_i为第i个节点的预测的输出值，n_l为输出层；

第l层的第i个节点的残差为公式(3)；

其中，为输出层的残差，表示从第1层到输出层求和，为l层第i个节点的权值，为l层第i个节点的输入加权和；

计算输出层的的偏导数，其中，公式(4)为对卷积神经网络的权重W求偏导数，公式(5)为对卷积神经网络的偏置b求偏导数；

为第l层第j个节点的激活值，为输出层第i个节点的残差；

利用公式(2)、(3)、(4)、(5)计算得出卷积神经网络的数据输入层的激活值、第一池化层的激活值、第二卷积层的激活值、第二池化层的激活值、第三卷积层的激活值、第三池化层的激活值、第一全连接层的激活值、第二全连接层的激活值以及输出层的激活值；

根据公式(6)计算输出层的残差

其中，为输出层的激活值即为样本(x,y)的实际输出值；

根据公式(7)计算数据输入层的激活值、第一池化层的激活值、第二卷积层的激活值、第二池化层的激活值、第三卷积层的激活值、第三池化层的激活值、第一全连接层的激活值、第二全连接层的激活值；

δ^(l)＝((W^(l))^Tδ^(l+1))f′(z^(l)) (7)

其中，l＝n_l-1,n_l-2,…,2，W^(l)为第l层的权值，δ^(l+1)为输出层所有节点的残差之和，δ^(l+1)为输出层的残差，z^(l)为第l层的输入加权和；

根据公式(8)计算权重W的偏导数值，公式(9)计算偏置b的偏导数值；

其中，a^(l)为第l层的激活值；

根据公式(8)和公式(9)对权重W和偏置b的不断求偏导数值，从而更新卷积神经网络的权重W和偏置b。