[发明专利]基于深度学习的人群高兴程度识别方法

说明书

本发明公开了一种基于深度学习的人群高兴程度识别方法，首先将人工标注的单个人脸图像做分类和图像尺寸归一化处理，得到人脸高兴程度数据库和人脸遮挡程度数据库，再分别将它们分为训练集和验证集，用于训练卷积神经网络，然后利用训练好的网络模型对输入的一幅合影图像中的人脸进行高兴程度和遮挡程度的识别，最后采用人脸高兴程度加权的方式计算出图像中的人群高兴程度。采用深度学习对图像中的群体表情进行分析，相比于传统提取PHOG、Gabor特征的方法要更准确，为解决图像中的人群情感识别问题提拱了新的思路和途径。

技术领域

本发明涉及图像处理与模式识别领域，涉及一种人群情感识别方法，特别涉及一种基于深度学习的人群高兴程度识别方法。

背景技术

人脸表情识别的研究近几年可以看到很多，然而很少有人关注图像中一群人所表达的情感。随着数据分享的普及程度以及类似YouTube、Flickr等社交网站的兴起，每天都会有用户上传成亿上万的社交图片和视频，比如参加的聚会、婚礼、毕业宴会等。通常情况下，这些上传的视频和图像中可能包含一个或者多个人，因此对人群的学习是关键的一步。

举个例子，现在如果需要推测一群参加同学聚会的人物合影中人们的心情，运用现有的情感检测算法来解决这种偏向于实际场景的问题还是具有挑战性的，比如缺少群体性的情感建模方法、带有标签的数据集、人脸分析方法。表情分析已经被研究了很多年，但都只局限于推测单个人物的情感状态。

要分析群体的高兴程度问题，需要关注的是每个人的高兴程度和它对整体情感基调的影响大小。这种影响程度与社交场景有关，包括各种全局和局部的影响因素，比如说图像中的人数、脸部的遮挡情况等。一般来说合影中的人数越多，整个场景中高兴或是愤怒的氛围越为浓厚，因此是个很有必要考虑的影响因素。脸部的遮挡包括自我遮挡(墨镜)或者其他人的遮挡(一个人站在另一个人的斜前方)，这是合影时很常见的现象，脸部的遮挡会降低能见度进而影响对其面部表情准确地评估，也会降低其对整体高兴程度的影响力，因此在图像中对被有所遮挡的人脸的高兴强度应做惩罚处理。本发明所采用的方法是基于这类全局和局部信息进行建模的。

分析图像中一群人所传达的情感目前看来还是极具应用价值的，比如图片搜索、检索和浏览，事件概括和重点析出，最佳照片拍摄选择，视频表情峰值检测，视频缩略图创建等。鉴于较为广泛的应用价值，人们对于理解人类情感属性的表现拥有越来越大的兴趣，然而从情感分析的角度，图像中场景的变化在情感计算领域仍鲜有关注。目前在情感识别分析方面，一般都是针对单个人的，将人脸表情划分为6种基本表情：高兴、惊讶、厌恶、生气、恐惧、悲伤，很少有研究者从事群体表情的分类识别研究。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于深度学习的人群高兴程度识别方法。

本发明为解决上述技术问题采用以下技术方案：

基于深度学习的人群高兴程度识别方法，包括以下步骤：

步骤A)，将由人工标注的单个人脸图像，按照标签分类并对图像大小归一化后，得到人脸高兴程度数据库和人脸遮挡程度数据库，将它们分别分为训练集和验证集并进行预处理操作；

步骤B)，分别构建用于识别人脸高兴程度和人脸遮挡程度的卷积神经网络；

步骤C)，对步骤B)中构建的两个卷积神经网络进行初始学习率、权重衰减系数、训练迭代次数的设置后，将经过预处理操作后的人脸高兴程度和人脸遮挡程度样本分别对应输入所述两个卷积神经网络，得到用于识别人脸高兴程度和人脸遮挡程度的网络模型；

步骤D)，使用含上述数据集的人脸和非人脸图像对Adaboost分类器做再训练；