[发明专利]一种基于LDDMM曲线匹配的人脸情感识别方法

说明书

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于LDDMM曲线匹配的人脸情感识别方法。

背景技术

人脸情感识别即是当计算机镜头捕捉到待用的人脸图像的时候，通过算法能够自动计算并且推断出该人脸所带有的表情。推断得到的表情，能够有效帮助计算机理解使用者所带有的感情，由此让计算机拥有一定的“智能”。目前人脸情感识别被使用于安防、教育、机器人服务等各个领域，应用范围十分广泛。

目前在脑科学中经常使用的高度形变微分同胚度量映射(Large deformation diffeomorphic metric mapping，下简称LDDMM)方法，具有较好的反映物体几何形变的特点，本实施例尝试利用LDDMM方法的优点，将其应用到人脸情感识别领域，通过对人脸的变化进行特征提取，由此对人脸进行情感识别。

发明内容

本发明提供的识别方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，进而实现精确的情感识别。

为实现以上发明目的，采用的技术方案是：

一种基于LDDMM曲线匹配的人脸情感识别方法，包括以下步骤：

S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；

S2.对图像序列中的每帧图像进行特征点的提取，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；

S3.对于所有的图像序列中的中性表情轮廓，将其标记为N_i，i＝1,2,…,n，i表示图像序列的序号；以N₁作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′_j,j＝2,…,n；

S4.将N₁和N′₂、N′₃、…、N′_n进行求平均处理，得到识别样本集的平均中性表情轮廓M；

S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；

S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；

S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；

S8.将被识别样本的中性表情轮廓的曲线分别与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；

S9.将被识别样本的有特征表情轮廓的曲线分别与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；

S10.分别从中进行特征的提取；

S11.使用线性组合的方法对分别从中提取的特征进行融合；

S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。

与现有技术相比，本发明的有益效果是：

本发明提供的方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，因而能够实现精确的情感识别。同时，本发明提供的方法在进行LDDMM曲线匹配时，是分别通过被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线、被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行匹配的，然后利用两种匹配所产生的微分同胚映射来进行特征的提取。两种特征的提取及融合使得本发明提供的方法能够充分挖掘被识别样本、识别样本之间的联系并用于后续的识别，因此，本发明提供的方法能够实现对情感的精确识别。

附图说明

图1为图像序列的示意图。

图2(a)为特征点的提取示意图。

图2(b)为曲线的示意图。

图3为平均有特征表情轮廓G的示意图。

图4为各类表情的平均有特征表情轮廓G之间的差异示意图。

图5为基于提取的特征的识别准确率的示意图。

图6为基于取的特征的识别准确率的示意图。

图7为融合提取的特征后识别准确率的示意图。