[发明专利]基于辅任务的深度卷积小波神经网络表情识别方法

说明书

本发明公开了一种基于辅任务的深度卷积小波神经网络表情识别方法，解决了现有特征选择算子不能高效学习出表情特征、无法提取更多图像表情信息分类特征的问题。本发明实现为：搭建深度卷积小波神经网络；建立人脸表情集和相应的表情敏感区域图像集；输入人脸表情图像到网络；训练深度卷积小波神经网络；网络误差反向传播；更新网络各卷积核和偏置向量；输入表情敏感区域图像到训练好的网络；学习辅任务的加权比重；获得网络全局分类标签；依全局标签统计识别正确率。本发明兼顾了表情图像的抽象和细节信息，增强表情敏感区域在表情特征学习中的影响力，明显提高了表情识别的正确率，可应用于对人脸表情图像的表情识别。

技术领域

本发明属于图像处理技术领域，主要涉及计算机视觉识别，具体是一种基于辅任务的深度卷积小波神经网络表情识别方法。可应用于人脸表情识别中对表情特征进行学习和分类。

背景技术

人脸表情识别是图像处理与计算机视觉领域中的一项前沿技术。它是由图像处理到图像分析的关键步骤，分割结果的优劣直接影响到随后的图像分析，理解和求解等问题。人脸表情识别的目的是研究人脸表情的编码模型，学习和提取人脸表情的特征表达方式，实现计算机对人脸表情自动合成，跟踪和识别。

目前，对人脸表情识别的技术研究主要围绕特征提取和分类算法这两个方面展开。基于深度学习网络的人脸表情识别方法近几年已有被研究人员使用，特别是深度学习网络中的善于处理二维图像的深度卷积神经网络更是被研究者应用到表情识别领域，但是一般意义上的深度卷积神经网络注重的是从低层到高层之间对图像的抽象映射，以获得高级的特征表达方式，却在获得高级特征表达形式时忽略了表情图像的纹理和细节信息。并且，通常使用的深度网络一般是单任务深度网络，在对表情的特征学习时不能有效的突出表情敏感区域对特征表达的主要贡献力。

在现有的表情识别技术中，主要是先特征选择然后再进行分类的方法，但是在特征选择步骤中，现有特征选择算子不能对表情特征进行高效的学习，使得后续的分类得不到理想的结果。另外，吕亚丹等人采用了深度自编码网络作为分类器，也没有避开特征选择这一步骤，因而导致最终分类效果提升不大。

发明内容

本发明针对上述现有技术的不足，提出一种基于辅任务的深度卷积小波神经网络表情识别方法。

本发明是一种基于辅任务的深度卷积小波神经网络表情识别方法，其特征在于，包括有如下步骤：

(1)搭建一个由三个卷积层，两个池化层，一个多尺度变换层，一个全连接层，一个softmax输出层的深度卷积小波网络；网络卷积层的偏置权值矩阵初始化为0矩阵，网络的激活函数选用的是Sigmoid函数；

(2)建立人脸表情图像集和表情敏感区域图像集，表情敏感区域图像集由人脸表情图像集裁剪出眉眼和嘴巴部位获得，将人脸表情图像数据集中的一部分图像作为网络的训练图像集，剩余的图像作为测试图像集；

(3)将一幅训练图像输入到深度卷积小波网络中，输入图像的尺寸大小为96*96；

(4)深度卷积小波网络的第一层为卷积层，该卷积层对每一幅输入人脸表情训练图像做卷积操作，选择卷积核的个数为Q₁，卷积核尺寸为7*7：

(4a)采用随机初始化的方法配置卷积核的权值为[-0.5,0.5]之间的近零数；

(4b)每个卷积核都对人脸表情图像进行卷积操作，获得Q₁个卷积后的特征图，每个卷积核的特征图尺寸为90*90；

(5)网络的第二层为池化层，该池化层将上一层卷积层得到的Q₁个特征图作为输入，并进行池化操作：

该池化层采用的池化方法是在不重叠的2*2区域内进行最大值的选择，得到该池化层的Q₁个特征图，池化后特征图尺寸大小为45*45；