[发明专利]一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法

说明书

本发明公开了一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法，包括：针对卷积神经网络提取的表情特征存在类间距离过小、类内距离过大进而影响分类识别准确率的问题,从损失函数角度提出改进，引入其它四种损失函数来替代常用的Softmax损失函数，以扩大表情特征的类间距离，缩小类内距离；针对表情识别中存在的某几类表情分类混淆的问题,提出了一种基于粗细分级的卷积神经网络表情识别方法；为将表情识别任务功能统一,设计和开发了基于卷积神经网络的表情识别系统。本发明能提升不同损失函数的表情识别准确率，提升集成网络的识别准确率，提升易混淆类别表情的识别准确率。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法

背景技术

人类表达情感的方式多种多样,如姿态的变化、言语的轻重、人脸表情等,其中人脸表情在情感表达中占有重要的地位。随着科技的进步以及生活水平的不断改善,人们对智慧化的生活有了更高的期待和要求,其中对于人脸表情识别的研究持续升温。对计算机而言,根据人类的表情给出正确的情绪分类结果变得越发重要。早在二十世纪,Ekman和Friesen就开始了对人类表情的研究并定义了6种跨民族的基本表情,包括愤怒、厌恶、恐惧、高兴、悲伤和惊奇,如图1-1所示。1992年,轻蔑表情被加入到了基本的表情中,这些表情类别成为当前大多数表情识别分类所采用的类别。

随着近年来深度学习研究热度的兴起、计算机运算能力的提升以及丰富的表情数据集的提出,越来越多的学者对基于深度学习的表情识别方法展开研究。总的来说,人脸表情识别可分为基于图片的表情识别和基于视频流的表情识别,而基于视频流的表情识别以基于图片的识别为基础。基于图片的表情识别包括特征提取与特征分类两个主要步骤,这也是表情识别的研究重点。在现实生活中,表情识别扮演的角色也愈发重要,不同于人脸识别,表情识别应用场景大多具有一定的特殊性。

发明内容

传统基于为克服针对卷积神经网络提取的表情特征存在类间距离过小、类内距离过大进而影响分类识别准确率的问题，本发明提供了一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法，能提升不同损失函数的表情识别准确率，提升集成网络的识别准确率，提升易混淆类别表情的识别准确率。本发明所采用的技术方案如下：

1.一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法，包括以下步骤：

步骤1，引入人脸识别系统领域的四种损失函数。

CenterLoss是一种辅助损失函数,通常与交叉熵损失函数Softmax结合使用,它能够进一步减小同一类表情特征的类内距离,同时保持不同类别特征的可区分性；SphereFace损失函数由交叉熵损失函数Softmax中w^Tx＝||w||||x||cosθ发而来,即特征向量与权重向量相乘包含有角度信息,SphereFace使学习到的特征具有角度上的分布特性,为让特征学习到更可分的角度特性,SphereFace在Softmax基础上进行了改进,即对权重进行归一化,对偏差置零；CosFace损失函数与SphereFace类似,都是在Softmax的基础上改进,将特征的分类空间转换到角度空间进行分类,CosFace相较于SphereFace进一步将特征x_i置为单位1进行归一化,其目的是最后分类结果只与权重向量和特征向量之间的角度有关,但是考虑到x_i归一化值太小会导致训练损失值过大,引入了缩放因子s和惩罚因子m,进而得到更可分的特征；Arcace损失函数与CosFace损失函数类似,只是将惩罚函数作用于角度上,直接在角度空间中对分类边界进行惩罚约束,类似地,ArcFace损失函数需要对特征和权重进行归一化,并引入缩放因子s。

步骤2，构建集成多种不同损失函数的表情识别网络ResNet-EnLoss。