[发明专利]一种基于光流主方向的微表情识别方法

摘要

本发明提供一种基于光流主方向的微表情识别方法，包括以下步骤：对微表情视频分帧形成的微表情序列进行插帧处理；定位每帧图像的双眼和鼻子，计算双眼中点位置作为坐标轴原点；计算每帧图像坐标轴原点与每只眼睛中心以及鼻子的距离dem和dmn；根据dem和dmn构造归一化网格；计算所有相邻帧网格内每个像素区域的光流方向并进行聚类得到光流主方向；在光流主方向上作矩形特征区域，并对光流主方向上的像素区域赋权重系数得到相邻帧网格优化后的光流场，将其相关数据绘点连接形成的曲线做平滑处理得到全局光流场；训练分类器，输入各级光流特征区域，将已遍历级别的微表情序列与训练的微表情序列的相似度之和与S作比较后得到分类结果。

主权项

1.一种基于光流主方向的微表情识别方法，用于从微表情视频片段中识别出微表情图像，其特征在于，包括以下步骤：步骤1，将所述微表情视频进行分帧，然后将每帧图像按顺序形成微表情序列；步骤2，采用时间插值法对所述微表情序列进行插帧处理，得到插帧处理后的所述微表情序列；步骤3，对插帧处理后的所述微表情序列中的每帧图像进行双眼和鼻子的定位，计算出所述每帧图像的双眼中点的位置，并以此作为坐标轴原点；步骤4，计算所述每帧图像中的所述坐标轴原点与每只眼睛的中心之间的距离dem和所述坐标轴原点与鼻子之间的距离dmn；步骤5，将所述每帧图像中的所述坐标轴原点与所述每只眼睛的中心之间的距离dem作为水平方向的长度并将所述坐标轴原点与所述鼻子之间的距离dmn作为竖直方向的长度来构造4×4的归一化网格；步骤6，在所述每帧图像中的每个网格内作3×3的像素点视为一个整体来构造像素区域，并以其中心像素点作为整个所述像素区域的特征点，然后计算所有相邻帧的所述网格内每个所述像素区域的光流方向，而后对所述网格内所有所述像素区域的所述光流方向进行聚类，得出所有相邻帧的所述网格的光流主方向；步骤7，在所有相邻帧的所述网格的光流主方向选定不同长度的特征为对角线作矩形特征区域，而后对所述网格内的光流主方向上的所述像素区域赋权重系数函数来计算所述矩形特征区域的光流权重，从而得到相邻帧的所述网格优化后的所述光流场；步骤8，根据所有相邻帧的所述网格优化后的所述光流场的时间与运动位移的大小以及时间与运动位移的方向分别绘点连接后形成距离曲线和方向曲线，而后对所述距离曲线与所述方向曲线进行平滑处理，得到的平滑后的所述距离曲线与所述方向曲线，该平滑后的距离曲线与方向曲线即为所述微表情序列的全局光流场；步骤9，将所述全局光流场按照所述矩形特征区域对角线的长度的从小到大进行分级，得到级别从大到小依次为一级相关特征区域、二级相关特征区域、……、g级相关特征区域，从而得到所有所述网格内的所述光流场的各级光流特征区域；步骤10，将各级相关特征区域作为输入，训练微表情分类器以得到训练的微表情，并将训练后的所述微表情采用网格分级分类器进行分级，得到训练的所述微表情的所有网格内光流场的各级光流特征区域，而后按照从大到小的级别依次遍历测试所述微表情序列中所述网格内的各级所述光流特征区域与训练的所述微表情的所述网格内光流场的所述各级光流特征区域的同一级光流特征区域进行相似度比较，得到所述微表情序列中所述网格内的各级所述光流特征区域与训练的所述微表情中的所述网格内光流场的所述各级光流特征区域的同一级光流特征区域的相似度，当所述微表情序列已遍历级别的所述相关特征区域与训练的所述微表情中的所述网格内光流场的所述各级光流特征区域的同一级光流特征区域的所述相似度之和大于相似度阈值S，则所述微表情序列与训练的所述微表情属于同一类别，输出微表情类别相同，当所有级别的所述相关特征区域与训练的所述微表情的同一级别的所述相关特征区域的所述相似度之和小于所述相似度阈值S，则所述微表情序列与训练的所述微表情不属于同一类别，输出微表情类别不同。