[发明专利]一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法

说明书

一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，首先对于训练集宏表情和微表情数据提取相关特征，同时测试集微表情数据提取与训练集微表情相同的特征，其次，通过特征选择和数据标准化将宏表情和微表情数据进行对齐，并将宏微表情数据进行重组；将重组后的数据矩阵进行基于对偶图正则化的联合非负矩阵分解，对系数矩阵施加MMD约束和对偶图正则化约束保证宏微表情数据联系最大化，多次迭代学习最优的训练基矩阵和训练系数矩阵；采用学习的训练基矩阵获取测试集微表情系数矩阵，将测试集系数矩阵与训练集系数矩阵进行最近邻分类。本方法将宏表情数据引入微表情数据域，从另一种角度扩充了微表情数目，有效提高了微表情识别率。

技术领域

本发明涉及一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，属于模式识别和机器学习技术领域。

背景技术

微表情的特点是持续时间极短，强度极低，本身已经为微表情的采集和识别带来了一定的困难，而且现有的高质量的公共可用的微表情数据库是非常少的，更不利于微表情的识别。重新构建更为大型的微表情数据库需要消耗大量的人力和物力，以及消耗大量的时间，基于此原因，目前在构建数据库方面着手的团队很少，大多数研究团队更加着重于采用现有的数据库进行算法研究提高微表情识别精度。目前，现有的微表情识别方法层出不穷，在有限的微表情数据库上分别取得了较好的研究成果。总体来说，这些工作可以被划分两个层面的工作来分别进行说明。一个层面从微表情特征层面进行着手，侧重对于微表情的细节层面进行描述，从而改善微表情识别效果。另一个层面致力于在现有的代表性特征基础上构建机器学习模型以此来达到提高识别性能的目的。

其中特征层面的研究工作，又可以被分为纹理描述法、光流运动法、频域描述法、颜色信息法四大类。纹理描述法可以针对通过对微表情图像信息的纹理特性等相关特性对于微表情进行一定的表示，通过纹理等信息的微表情表述方式可以忽略微表情采集设备或者环境带来的光照变化、姿势变化、噪音的影响，特征具有一定鲁棒性。将微表情序列作为时域信号进行描述的是频域描述法的方式，这种方案能够通过Gabor变换或者傅里叶变换等等形式得到微表情相位、振幅等一系列频谱信息，之后提取微表情的频域特征，例如rieszwavelet、Gabor变换等对微表情进行检测或者识别工作。光流运动法则针对微表情动态过程提出分析光流场中微表情的运动特性，针对于帧与帧像素级别的运动信息进行捕捉，更容易捕捉面部的微小运动，提高微表情识别性能。颜色信息法在张量增加与微表情相关的时间和颜色信息等信息，同时去除存在的冗余信息也获得了较好的识别效果，但是在一定程度上也增加了计算的复杂度。

第二个层面针对以上效果好的有代表性的特征表示基础上建立相关的机器学习算法模型，达到扩充样本或者更好分类的目的。采用机器学习建立模型地算法可以划分为两大类，传统机器学习方案和深度学习方案。但是，众所周知，机器学习和深度学习模型的良好表现建立在大量训练数据的基础上，但是微表情存在的小样本问题是相关算法模型方法的根本限制。因此，采用迁移学习的思想扩充现有微表情数目提供了该问题的解决方案。本发明提出一种基于对偶图正则化的联合非负矩阵分解算法能够有效解决微表情数目有限的弊端，提高微表情识别效果。

发明内容

针对现有的微表情数据库内有标签的样本数据有限从根本上限制微表情识别准确性的问题，本发明尝试采用异构迁移学习为手段，与微表情具有极大相似性的宏表情数据为辅助域，进行跨域微表情识别，从另一种层面上扩充微表情数据样本，提高识别效果。本发明提出基于图正则化的非负矩阵分解微表情识别方法，可以将宏表情微表情数据矩阵同时进行矩阵分解，并针对分解出的系数矩阵施加最大均值差异约束以及对偶图正则化约束，从而拉近两者的距离，便于进行跨域识别。

发明概述：

一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，包括：数据特征提取、数据处理、基于对偶图正则化的联合矩阵分解、和分类识别。

术语解释：