[发明专利]基于维度情感模型的群体情感识别与异常情感检测方法

权利要求书

1.基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，包括以下步骤：

S1：建立基于群体情感的PAD三维情感模型：包括愉悦度P、激活度A和优势度D三个维度，每个维度的取值均处于-1到+1之间，设置PAD情绪量表进行情绪维度的参考；

S2：建立群体行为和群体情感数据集：针对不同场景的视频数据，基于认知心理学原理，通过人工标注的策略，获取标准视频数据集；

S3：统计群体情感数据集：根据标准视频数据集，定义视频的情感类型，被标记为同一类情感的视频，将其PAD值归一化到[-1，1]之间，通过计算各个坐标的中心点，确定该类情感在PAD空间中的取值；

S4：评价群体情感数据集：检验标注数据是否具有一致性，采用Normplot函数验证分析标注数据是否服从高斯分布，若不服从则输出图像出现弯曲；

S5：群体情感识别与异常情感检测：从视频中提取群体运动特征，群体运动中层语义的表达；

其中，所述提取群体运动特征包括前景区域的提取、光流特征的提取、轨迹特征的提取和运动特征的图形化表达；所述前景区域的提取采用改进的ViBE+算法，经检测，第t帧的前景区域表示为R^t；所述光流特征的提取采用Gunner Farneback的稠密光流场进行视觉表达，对于第t帧图像，像素点(x，y)在横向和纵向的光流偏移量分别为u和v；所述轨迹特征的提取采用了iDT算法，对视频像素点进行密集采集，并通过光流判断跟踪点在下一帧的位置，从而形成跟踪轨迹，表示为T(p₁，p_2…p_L)，其中L≤15；所述运动特征的图形化表达采用全局运动强度图、全局运动方向图和全局运动轨迹图三种图形化的特征表达形式；

全局运动轨迹图中的每条轨迹均以实线表示，每条轨迹包括三个属性特征T(p₁，p₂…p_L)，L，g_i；其中，T(p₁，p₂…p_L)表示构成轨迹的若干跟踪点p_i的坐标位置，L表示轨迹的长度，g∈[0，255]表示轨迹中第i段的灰度值，g_i表示如下：

其中，i∈[1，L-1]；

所述步骤S5群体运动中层语义的表达采用灰度共生矩阵进行深入分析，采用的统计量包括方差、对比度、二阶矩、熵、相关性和倒数差分矩；

所述方差用于反映图像的灰度变化程度，当方差越大时，图像的灰度变化越大，方差的计算公式如下：

其中，

所述对比度用于度量矩阵的值分布和图像中局部的变化量，用于反映图像的清晰度和纹理的深浅，对比度的计算公式如下：

所述二阶矩用于度量图像纹理的灰度变化稳定程度，反映图像灰度分布均匀程度和纹理粗细度，二阶矩值较大则表明处于较均一和规则变化的纹理模式，二阶矩的计算公式如下：

所述熵用于度量图像包含信息量的随机性，反映图像灰度分布的复杂程度，熵的计算公式如下：

所述相关性用于是度量空间灰度共生矩阵元素在行或列方向上的相似程度，反映图像纹理的一致性，相关性的计算公式如下：

所述倒数差分矩用于反映图像纹理的同质性，度量图像纹理局部变化的多少，其值大则说明图像纹理的不同区域间缺少变化，局部均匀，倒数差分矩的计算公式如下：

S6：群体情感特征的提取、回归：采用支持向量回归机SVR，在训练数据集的支持下，通过寻找最优超平面，在约束其结构化风险最小化的基础上，获得回归函数；所述回归函数如下所示：

其中，ω为权重向量，C为平衡系数，ξ_i为松弛变量，为将数据映射到高维空间的非线性变换，b为偏置项，ε为敏感度；

引入拉格朗日乘子，式(10)转换为：

其中，0≤a_i≤C，0≤a_i≤C；

最终求得的回归函数为：

其中，k(x，x_i)为核函数；

采用径向基核函数RBF，表达式如下：

k(x_i，x_j)＝exp(-||x_i-x_j||²/2σ²) (13)

通过训练后得到回归模型，实现维度情感预测，对每段视频在PAD空间中的连续值进行预测，当群体情感随时间发生变化，则表现为连续的三维轨迹，以呈现渐变的情感过程；

S7：异常情感状态的检测：将每个标记样本的PAD值作为输入，通过支持向量机SVM进行训练。