[发明专利]一种视觉感知情绪识别方法

权利要求书

1.一种视觉感知情绪识别方法，其特征在于：包括以下步骤：

步骤1：通过摄像头采集人脸视频并进行人脸检测和兴趣区域定位；

步骤2：提取兴趣区域的颜色通道信息分解降维；

步骤3：信号去噪和稳定，提取心率、呼吸的波形以及心率变异性的生理参数；

步骤4：提取生理参数的预训练非线性特征进行基于孪生网络的支持向量机模型的建模回归；

步骤5：利用回归的三维信息读取VAD模型得到具体的情感表示，所述VAD模型为Valence-Arousal-Dominance模型。

2.根据权利要求1所述的一种视觉感知情绪识别方法，其特征在于：步骤1中采集包含有人脸区域的RGB格式的视频信息，对视频信息采用人脸检测和特征点定位算法得到图像的人脸所在位置和特征点的坐标信息，以特征点的信息选取包含脸颊的矩形区域为兴趣区域。

3.根据权利要求2所述的一种视觉感知情绪识别方法，其特征在于：步骤2中包括以下步骤：

步骤2.1：将兴趣区域进行颜色空间转化，同时投影至CIELab颜色空间和YUV颜色空间；

步骤2.2：将兴趣区域等分成n个区域，并在时间窗口T内取a,b,U,V四个通道的均值，拼接在一起得到视频的特征矩阵F_n×T，将特征矩阵F_n×T作非负矩阵分解：

F_n×T≈MN

其中M和N是两个非负矩阵，内部元素的值均大于0，n为兴趣区域的区域个数；

设误差矩阵E表示为E＝F_n×T-MN，假设误差矩阵E服从高斯分布，采用乘性迭代的方式求出M、N，将分离得到的两个非负矩阵M和N相乘得到重构矩阵,并获取重构矩阵的最大奇异值，即视为与心率最相关的一维信号。

4.根据权利要求3所述的一种视觉感知情绪识别方法，其特征在于：步骤3包括以下步骤：

步骤3.1：将一维信号进行快速傅里叶变换转化到频域，并滤掉心率频带外和呼吸频带外的噪声，得到除噪后的心率信号和除噪后的呼吸信号，再结合最小二乘平滑滤波消除心率信号和呼吸信号的带内噪音，然后通过三次样条插值对数据进行增强、稳定，得到去噪后的远程心率波形信号OS_HR和呼吸波形信号OS_BR；

步骤3.2：将OS_HR和OS_BR分别进行PSD功率谱分析，找到每个PSD功率谱的峰值所对应的频率值,即分别得到心率基频和呼吸基频，将对应的心率基频和呼吸基频分别乘以60，即可分别得到具体的心率值和呼吸值；

步骤3.3：对OS_HR信号作窗口滑动判断峰值所在位置，设置心跳周期窗口ω_b和收缩高峰期窗口ω_p，将OS_HR信号应用快速傅里叶变换，并获得每个时间点i的频率f_b[i]和f_p[i]，然后计算ω_b[i]和ω_p[i]，即ω_b[i]＝1/f_b[i]，ω_p[i]＝1/f_p[i]；

步骤3.4：根据心跳周期窗口ω_b和收缩高峰期窗口ω_p分别计算阈值win₁和win₂。