[发明专利]基于稀疏典型相关分析的姿态和语音双模态情感识别方法

权利要求书

1.一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，其特征在于，所述方法包括：

(1)在情感数据库中选取一定数量的样本；

(2)提取样本数据中的姿态特征和语音特征，分别用矩阵A′和B′表示，矩阵A′为n₁行m列，矩阵B′为n₂行m列，其中n₁为姿态特征的特征维数，n₂为语音特征的特征维数，m为样本数；

(3)对矩阵A′和B′进行归一化处理，得到矩阵A和B；

(4)使用稀疏典型相关分析法，将矩阵A和B进行融合，计算融合后的特征矩阵f；

(5)将融合后的特征矩阵f放入支持向量机中进行情感识别。

2.根据权利要求1所述的基于稀疏典型相关分析的姿态和语音双模态情感识别方法，其特征在于，所述的归一化处理的方法为：

对矩阵A′中列向量求均值和方差，其中第j列的均值为E(A′_j)，第j列的方差为D(A′_j),计算每个元素归一化以后的结果为其中A′_i,j表示矩阵A′的第i行j列，得到矩阵A；

对矩阵B′中列向量求均值和方差，其中第j列的均值为E(B′_j)，第j列的方差为D(B′_j),计算每个元素归一化以后的结果其中B′_i,j表示矩阵B的第i行j列，得到矩阵B。

3.根据权利要求1所述的基于稀疏典型相关分析的姿态和语音双模态情感识别方法，其特征在于，使用稀疏典型相关分析法进行融合的方法为：

(1)建立矩阵A的投影向量w_a，矩阵B的投影向量w_b，使得矩阵w_a^TA和w_b^TB相关函数ρ(w_a^TA,w_b^TB)最大化；

(2)通过下列方程求得w_a和w_b：

其中，M＝C_AB^T,C_AB＝E(AB^T)为矩阵A和矩阵B互协方差矩阵，α为矩阵M_A和矩阵M_B的特征值，由|αE-M_A|＝0和|αE-M_B|＝0求解可得α，E为单位向量；

(3)得到融合后的特征矩阵f为：