[发明专利]一种基于多尺度时序建模的维度情感识别方法

权利要求书

1.一种基于多尺度时序建模的维度情感识别方法，其特征在于，该方法包括以下步骤：

步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；

步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；

步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；

步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；

步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1-3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，首先对于视频序列中的第一帧图像进行人脸检测，得到人脸区域图像后对于后续每帧图像进行人脸跟踪，跟踪时停止进行人脸检测；但如果人脸跟踪失败，则对于当前帧重新进行人脸检测寻找人脸。

3.根据权利要求1所述的方法，其特征在于，所述步骤1中，采用Haar特征及AdaBoost分类器进行人脸检测；采用均值漂移算法进行人脸跟踪；根据ASM特征点提取得到人脸的关键点。

4.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼球点及眼角点、鼻唇中心点、嘴角点。

5.根据权利要求1所述的方法，其特征在于，在所述步骤1得到人脸关键点之后，还对每帧人脸区域图像的人脸关键点的坐标值进行归一化，之后采用主成分分析法对于所述人脸关键点的坐标值进行降维，降维之后通过白化处理使所有特征具有单位方差并去相关。

6.根据权利要求1所述的方法，其特征在于，具体地，所述步骤2进一步包括以下步骤：

步骤21，根据所述人脸关键点中左、右眼睛眼角的关键点进行连线，得到眼角连线与水平线之间的夹角，根据所述夹角对于所述人脸区域图像进行旋转，使所述夹角变为0度；

步骤22，对于旋转后的人脸区域图像进行尺度缩放，使所述眼角连线的长度为M个像素；

步骤23，根据左眼角关键点的位置对于经过尺度缩放的人脸区域图像进行裁剪，以使得到的人脸区域图像达到第一预定大小；

步骤24，对于裁剪得到的人脸区域图像进行灰度化和归一化，并对于归一化后的人脸区域图像的像素灰度值进行主成分分析降维和白化处理，将得到的人脸区域图像的所有像素灰度值作为第二类组人脸特征；

步骤25，根据嘴部关键点的位置，从归一化后的人脸区域图像中提取得到人脸嘴部区域图像，并将所述人脸嘴部区域图像归一化至第二预定大小，对于归一化后的人脸嘴部区域图像进行灰度化和归一化，并进行主成分分析降维和白化处理，将降维后的人脸嘴部区域图像的所有像素灰度值作为第三类组人脸特征；

步骤26，根据眼睛关键点的位置，从归一化后的人脸区域图像中提取得到人脸眼睛区域图像，并将所述人脸眼睛区域图像归一化至第三预定大小，对于归一化后的人脸眼睛区域图像进行灰度化和归一化，并进行主成分分析降维和白化处理，将降维后的人脸眼睛区域图像的所有像素灰度值作为第四类组人脸特征。

7.根据权利要求1所述的方法，其特征在于，所述具有时序池化层的深度置信网络结构包括：一个输入层，一个隐藏层，一个时序池化层和一个线性回归层。

8.根据权利要求7所述的方法，其特征在于，所述时序池化层抽取各个人脸特征值在单位时间段t内的最大值、最小值、均值、方差，作为新的特征输入到线性回归层。

9.根据权利要求7所述的方法，其特征在于，所述线性回归层的结点个数为3，分别对应PAD三个维度：愉悦度、激活度和优势度。

10.根据权利要求1所述的方法，其特征在于，所述线性回归器和深度置信网络均采用随机梯度下降法训练完成，采用最小均方误差函数为损失函数。