[发明专利]一种改进MobileNet模型的人脸表情识别方法

说明书

本发明提出一种改进的MobileNet网络模型，在保留MobileNet轻量级整体结构的情况下，结合人脸表情识别的特点，进一步精简网络，使网络接收48*48的单通道灰度图片。为了减少网络计算量，保留了MobileNetV1模型中的深度可分离卷积层。同时为了解决在深度卷积层后引入非线性激活函数可能会导致信息丢失的问题，本发明在深度卷积层后直接舍弃非线性激活函数，采用MobileNetV2中提到的线性输出。网络模型使用了线性支持向量机进行人脸表情分类网络模型。最终本发明网络模型参数较MobileNetV1及MobileNetV2大大减少。本发明模型在CK+数据集上进行实验，在测试集上实现了较好的识别性能。

技术领域

本发明涉及计算机视觉领域中的静态人脸表情识别问题，尤其是涉及一种改进的MobileNet模型的人脸表情识别方法。

背景技术

人脸表情识别是计算机视觉领域一大热点。人脸表情作为人类情绪的直接表达，是非语言交际的一种形式。目前，人脸表情识别技术应用领域非常广，包括人机交互(HCI)、安保、机器人制造、医疗、通信、汽车等。在人机交互(HCI)、在线远程教育、互动游戏、智能交通等新兴应用中，自动面部表情识别系统是必要的。

人脸表情识别的重点在于人脸表情特征的提取。对于人脸表情的提取，目前为止出现了两类特征提取方法。一种是基于传统人为设计的表情特征提取方法，如局部二值模式(Local Binary Pattern,LBP)、定向梯度直方图(Histogram of Oriented Gradients,HOG)、尺度不变特征变换(Scale Invariant Feature Transform,SIFT)等，这不仅设计困难，并且难以提取图像的高阶统计特征。另一种是基于深度学习的表情特征提取方法，目前深度神经网络已广泛应用在图像、语音、自然语言处理等各个领域，这充分证明了深度神经网络具有良好的特征提取能力。为了适应不同的应用场景，越来越多的深度神经网络模型被提出，例如AlexNet、VGG-19、GoogleNet和ResNet，这些网络模型被广泛应用于各个领域，当然这些模型也应用在人脸表情特征提取及分类上，也取得了不错的效果。

但随着深度神经网络模型的不断发展，其缺点也逐渐显现。网络模型的复杂化，模型参数的大量化的缺点，使得这些模型只能在一些特定的场合应用，移动端和嵌入式设备难以满足其需要的硬件要求。复杂网络模型需要的硬件高要求限制了其应用场景。基于此，Google公司的AndrewG.Howard等人在2017年4月提出了一个可以应用在移动端和嵌入式设备的MobileNet轻量化网络模型。文中提出的使用深度可分离卷积层，在保证精度损失不大的情况下，大大减少了网络的计算量，从而为计算设备“减负”。2018年1月，Google公司提出第二个版本的MobileNet网络模型,称之为MobileNetV2，其网络结构保持了第一版本的轻量化特点，不同的是MobileNetV2使用了倒转的残差(inverted residual)结构，并且为了减少信息丢失，舍弃在点卷积后使用非线性激活层，而使用线性输出。

本发明根据人脸表情识别的特点，设计了一个基于输入尺寸为48*48单通道灰度图片的改进MobileNet模型，使其兼顾MobileNet两个版本网络模型的优势，保留了原有MobileNetV1的深度可分离卷积层，为了更好的保留深度卷积后输出的特征，在深度可分离卷积层输出后，去掉用于提取非线性特征的激活层，采用线性输出。大多数的深度学习方法使用Softmax来进行分类。而SVM分类器作为一种具有较强泛化能力的通用学习算法，且SVM分类器对大数据高维特征的分类支持较好，本发明使用L2-SVM方法训练深度神经网络进行分类。

发明内容

本发明提出了一种改进的MobileNet模型的人脸表情识别方法，改进后的模型如表1所示。首先获取输入人脸图像的有效人脸区域部分，最后将其输入改进后的网络模型对人脸表情进行识别。

表1改进的MobileNet网络结构