[发明专利]一种基于多尺度时序建模的维度情感识别方法

说明书

技术领域

本发明属于视频信号处理领域，具体涉及一种基于多尺度时序建模的维度情感识别方法，并以此来提高连续维度的情感识别的精度。

背景技术

近年来，国内外研究人员对连续维度情感识别进行了大量的研究工作，提出了许多用于情感识别的有效方法。这些方法从处理策略上可以分为基于静态分类器的检测方法和基于动态分类器的检测方法。基于静态分类器的检测方法，多利用支持向量机(SVM)、神经网络、Boosting等，且这类分类器多为判别式模型。由于具有较强的区分能力，因此广泛应用于情感状态识别领域，但这种方法忽略了连续维度情感中不同时刻情感相互联系的事实，也即忽视了时序建模在分类模型中的关键作用。情感状态是一个逐渐变化的、平滑的过程，有着很强的上下文相关性，充分考虑情感状态的时序信息将有助于分类精度的提升。基于动态分类器的检测方法大多采用基于隐马尔科夫(HMM)的分类模型，HMM在序列上下文信息建模方面有着突出的优势，因而对于时间序列，能够较好的融合序列信号的上下文信息，融合一定的情感历史信息。然而，HMM只能在单一时间尺度上进行时序建模，且时序建模的范围有限，并不能完全反应情感时序信息在情感识别中的关键作用。

本发明利用深度置信网络实现较小尺度的时序建模，同时利用线性回归进行多模态及时序的同时融合，实现了较大尺度上的时序建模，进而依靠两级不同尺度上的时序建模，实现了维度情感的精确预测。

发明内容

为了解决上述现有技术中存在的连续语音序列的情感信息识别问题，本发明提出了一种基于多尺度时序建模的维度情感识别方法。

本发明提出的一种基于多尺度时序建模的维度情感识别方法，包括以下步骤：

步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；

步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；

步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；

步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；

步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1-3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。

本发明在视频序列中，采用多层时序建模，实现了两个不同实现粒度上的有效建模，同时融合了多种视觉特征，最终达到了对连续维度情感的有效预测。

附图说明

图1是本发明基于多尺度时序建模的维度情感识别方法的流程图。

图2是本发明步骤1的流程示意图。

图3是本发明步骤2的流程示意图

图4是本发明采用的具有时序池化层的深度置信网络的结构示意图。

图5是本发明步骤5的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。应该指出，所描述的实例仅仅视为说明的目的，而不是对本发明的限制。

图1是本发明基于多尺度时序建模的维度情感识别方法的流程图，如图1所示，所述基于多尺度时序建模的维度情感识别方法包括以下步骤：

步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；