[发明专利]基于维度情感模型的群体情感识别与异常情感检测方法

说明书

本发明公开了基于维度情感模型的群体情感识别与异常情感检测方法，涉及智能情感识别技术领域，基于认知心理学PAD三维情感模型，通过数据搜集和人工标注，创建群体情感的视频数据集，揭示了六种典型情感在PAD空间中的位置关系；创建基于群体行为的情感预测模型，将群体运动特征映射为PAD空间中的三维坐标；构建异常情感分类器，当检测到愤怒和恐惧这两种异常情感，则判定场景产生了异常状态。针对群体运动视频，本申请既能够准确表达群体情感的连续变化状态，还可以实现对全局异常状态的有效识别。

技术领域

本发明涉及智能情感识别技术领域，特别涉及基于维度情感模型的群体情感识别与异常情感检测方法。

背景技术

近年来，随着人工智能与深度学习、心理科学及认知科学的不断发展，通过计算机来识别、理解、表达和交流人的情感，使计算机具备更全面、更高层次的智能化程度，越来越受到学术界的广泛关注和深入探索。对于智能视频监控技术而言，通过采集场景中人群的语言交流、面部表情、肢体运动，理解和体会他们的喜怒哀乐，分析其情感状态和内心意图，并推断其下一步的行为企图，使计算机随之做出相应的反馈，从而真正具备情感层面的交流能力。作为未来智能监控技术的重要发展方向之一，基于视觉的情感分析和情感识别方法，具有十分重要的学术研究价值。

当然，人类表达情感的信息媒介有多种渠道，包括文字、语言、面部表情、肢体行为等。虽然语言和面部表情都可以丰富地表达人类情感，但是语音信号在嘈杂的公共场所中很难清晰采集到。同时，考虑到密集场景的高度拥挤和动态变化，现有的视频分析技术很难从拥挤的人群中准确定位每个人的脸部，并精确提取面部表情。因此，基于人脸跟踪和面部特征提取的情感分析，在密集场景中很难达到理想效果。所以，比较可行的途径，是通过分析监控视频中人群的肢体行为来识别和评价群体情感状态。

值得注意的是，目前学术界对于肢体运动的情感分析，往往将单独的个人作为研究对象，侧重于挖掘和识别个体姿态特征及其情感表达。然而，区别于个体运动，群体行为在主观因素、环境因素、社会因素和心理因素的共同作用下，具有其独特的内在结构和丰富的外在形态。一方面，个体之间通过信息交流和相互协作，使群体呈现出一定的趋同性和整体性；但另一方面，个体运动具有一定的自主性和随意性，群体又表现出一定的无序性和非结构化特点。从社会心理学的角度分析，在密集人群场景中，个体心理受周围环境影响，会丧失一定的独立性，对同伴形成某种程度的依赖，导致其情绪状态逐渐与群体趋于一致，形成集体的、从众的心理状态。因此，考虑到密集场景的特殊性以及群体心理的独特性，有必要探索专门的方法和策略来分析群体情感状态。

基于群体行为的情感识别方法，目前主要分为两种类型：基于离散模型模型的识别方法和基A-V二维情感模型的识别方法。然而这两类方法都存在一些不足之处。第一，不同于简单的一段语音或者一幅图像，监控视频所呈现的内容是非常丰富的。这其中既有活跃的群体运动，又有复杂的群体情感，还有一定的情节变化。所以，离散情感模型只能够识别一些形态单一、辨识度高的典型场景，其所涵盖的几种特定情感类型对密集人群来说，是比较有限和欠缺的。此外，群体情感具有许多微妙的特征，表现为多种情绪的综合。而且情感会随时间发生连续的变化。群体情感这些特点，都是离散模型无法有效表达的。第二，A-V二维情感模型主要从Arousal和Valence两个维度加以衡量。其中，Arousal反映了情感状态的强度，Valence体现了情感状态的类型。但是相比于三维情感模型，两个维度的描述形式还是稍显简单，例如文献采用A-V二维情感模型，仅仅区分了四种情感类别。对于复杂的群体情感来说，这显然是不够的。第三，A-V情感模型无法区分某些情感(如愤怒和恐惧都属于Arousal较高的情感)，但是PAD三维情感模型可以有效区分(愤怒属于优势度较高的情感，而恐惧属于优势度较低的情感。

针对上述问题，本申请提供了一种基于维度情感模型的群体情感识别与异常情感检测方法，以PAD维度模型为基础，将群体情感表示为情感空间中的三维坐标点，以实现对复杂情感的准确表达。

发明内容