[发明专利]基于稀疏典型相关分析的姿态和语音双模态情感识别方法

说明书

本发明公开了一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，所述方法包括：1)在情感数据库中选取一定数量的样本；2)提取样本数据中的姿态特征和语音特征；3)对特征矩阵进行归一化处理；4)使用稀疏典型相关分析法，将特征矩阵进行融合，计算融合后的特征矩阵；5)将融合后的特征矩阵f放入支持向量机中进行情感识别。本发明加入稀疏典型处理后，不仅解决了双模态融合难的问题，还起到了特征降维的目的，解决了现有双模态特征层融合情感识别不佳的问题，提高了识别率。

技术领域

本发明涉及一种姿态和语音双模态情感识别方法，特别是涉及一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法。

背景技术

随着人类社会的不断进步，人们不再只满足于衣食住行，更多的开始关注自己的情感世界，情感的层次越来越复杂，科学而又准确的识别人类的情感变得愈来愈有意义。

在上世纪九十年代，麻省理工的“情感计算”之母Rosalind Picard教授首次提出了情感计算的概念，情感计算(Affective Computting)顾名思义，就是使计算机可以像人类一样观察、理解和生成各种情感特征的能力，最终可是使计算机能够像人类一样与人们进行情感交互。情感计算，最开始的方法是单一模态的情感识别，例如表情，语音，姿态，文本等单一模态识别，但人在相互交流时，是通过多种信息综合在一起表现出来的,因此，多模态的情感识别显得尤为重要。

在多模态情感识别研究方面，最核心的部分就是多个模态的特征融合，融合的好坏直接影响到最后识别的效果，现在已经有许多融合方法出现：主成分分析(PCA)、典型相关分析(CCA)等。然而，我们平时在处理得到的数据时，通常不是稀疏表示的，例如我们得到的图像，视频，语音等，数据中的所有元素的重要程度是不同的，有些元素是重复存在的。这种特点不利于进行情感识别，在目前的特征融合方法中没有加入稀疏的概念，这一点使最终的识别结果仍然不够理想。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，加入稀疏典型处理后，不仅解决了双模态融合难的问题，还起到了特征降维的目的，解决了现有双模态特征层融合情感识别不佳的问题，提高了识别率。

技术方案：本发明所述的基于稀疏典型相关分析的姿态和语音双模态情感识别方法，所述方法包括：

(1)在情感数据库中选取一定数量的样本；

(2)提取样本数据中的姿态特征和语音特征，分别用矩阵A′和B′表示，矩阵A′为n₁行m列，矩阵B′为n₂行m列，其中n₁为姿态特征的特征维数，n₂为语音特征的特征维数，m为样本数；

(3)对矩阵A′和B′进行归一化处理，得到矩阵A和B；

(4)使用稀疏典型相关分析法，将矩阵A和B进行融合，计算融合后的特征矩阵f；

(5)将融合后的特征矩阵f放入支持向量机中进行情感识别。

进一步的，所述的归一化处理的方法为：

对矩阵A′中列向量求均值和方差，其中第j列的均值为E(A_j′)，第j列的方差为D(A_j′),计算每个元素归一化以后的结果为其中A′_i,j表示矩阵A′的第i行j列，得到矩阵A；

对矩阵B′中列向量求均值和方差，其中第j列的均值为E(B_j′)，第j列的方差为D(B_j′),计算每个元素归一化以后的结果其中B_i′,_j表示矩阵B的第i行j列，得到矩阵B。

进一步的，使用稀疏典型相关分析法进行融合的方法为：