[发明专利]基于人脸识别进行人物表情情感语义识别方法

说明书

技术领域

本发明属于人物图像语义识别技术领域，具体涉及一种基于人脸识别进行人物表情情感语义识别方法。

背景技术

图像语义分为三个层次，分别是底层的特征语义层，中层的对象语义层，上层的抽象语义层。目前研究的热点在底层的特征语义层，研究图像的底层特征如颜色、纹理及形状等及其组合来提取相关语义描述，简单语义特征的提取与分析需要利用复杂语义信息，而且通过单一的特征分析，是不能准确确定图像语义的。图像的语义不单是图像的底层特征所能表达的，图像语义是个复杂的系统表达，例如一副人物图像，是不能只根据图像的背景颜色，人物的轮廓就可以判断图像语义的，如果将重点放在图像的对象、场景的含义和目标进行高层推理，研究抽象语义层，能更好地得到相关的语义描述。

研究抽象语义层将重点放在人物面部表情识别上，研究目标是能够自动地识别出人的表情，分析出人的情感，进而得到图像情感语义。计算机自动识别人脸表情是困难的，因为人脸是一个柔性体，为人脸表情特征建立精确数学模型难度较高。脸部器官的位置稍有变动，表情就会发生巨大的变化，因而需要选择最重要的特征来决定表情的识别。

面部表情识别是情感识别的初级，而情感识别是最高级的识别，超出了人工智能的模糊识别，有着广泛的应用前景和发展前景。在汽车、飞机、车间等重要岗位上的监控系统设备中，通过感应设备对司机、飞行员、工人等进行脸部监控，通过其表情的痛苦或不适表现得疲劳、压力过大等精神状态信息，及时报警提示，避免事故发生；在医疗中，表情分析可作为辅助手段，帮助医生分析病人的精神状态，对病人的精神问题做出正确的诊断；在电脑游戏中，能够根据游戏者的喜、怒、哀、乐来做出实时的反应，那么电脑游戏会比传统规定好规则的游戏更逼真；此外，在安全保密，公安侦查，医疗辅助等其他需要解释面部信号的领域和行业中都会有广泛的应用。本发明因此而来。

发明内容

本发明目的在于提供一种基于人脸识别进行人物表情情感语义识别方法，解决了现有技术中图像中面部表情识别不能较好的进行识别等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：

（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

优选的，所述方法步骤（3）通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。

优选的，所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建立X,Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较结果。

本发明的另一目的在于提供一种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括：

人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

优选的，所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。

本发明首先对人脸进行检测与定位，采取一定策略，从未知的图像背景中提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征，并返回人脸的位置。然后从人脸图像中提取能够表征输入表情本质的信息，用来描述表情图像，在提取特征数据的过程中，为了避免维数危机需要警醒特征降维，特征分解等一系列步骤；最后分析特征的关系，将输入的人脸面部表情分类到相应的类别。