[发明专利]一种视频中人物情绪状态的识别方法和装置

说明书

本公开提供一种视频中人物情绪状态的识别方法和装置。该方法包括：获取第一视频帧图像和第二视频帧图像；分别确定第一视频帧图像中所有人物检测边框信息以及所有人物特征向量，和第二视频帧图像中所有人物检测边框信息以及人物特征向量；根据第一视频帧图像中所有人物检测边框信息计算得到相应的第二视频帧图像中的预测边框信息；计算预测边框信息与第二视频帧图像中所有人物检测边框信息的相似度，以及第一视频帧图像中所有人物特征向量与第二视频帧图像中所有人物特征向量的相似度以确定目标人物；在预设视频帧率间隔获取目标人物在不同视频帧图像中的姿态关键点信息，根据姿态关键点信息的变化对人物运动信息进行建模，以识别目标人物的情绪状态。

技术领域

本公开涉及视频数据处理技术领域，尤其涉及一种视频中人物情绪状态 的识别方法和装置。

背景技术

在许多社会治理场景中，用户可能会在情绪激动的情况下做出一些激烈 的行为影响到社会治理的效率。因此，为了提高社会治理的效率，有必要提 供一种视频中人物情绪状态的识别方法，以实现对上述情况的预警。

发明内容

本公开实施例提供视频中人物情绪姿态的识别方法和装置，以解决上述 现有技术中存在的问题。

根据本公开的第一方面，提供一种视频中人物情绪状态的识别方法，所 述方法包括：

获取第一视频帧图像和第二视频帧图像；所述第二视频帧图像是所述第 一视频帧图像的下一视频帧图像；

从所述第一视频帧图像中确定第一视频帧图像中所有人物检测边框信息 以及第一视频帧图像中所有人物特征向量，并从所述第二视频帧图像中确定 第二视频帧图像中所有人物检测边框信息以及第二视频帧图像中所有人物特 征向量；

根据所述第一视频帧图像中所有检测边框信息计算得到相应的所述第二 视频帧图像中的预测边框信息；

计算所述预测边框信息与所述第二视频帧图像中所有检测边框信息的相 似度，以及所述第一视频帧图像中所有人物特征向量与所述第二视频帧图像 中所有人物特征向量的相似度，对所述第一视频帧图像和所述第二视频帧图 像中的人物进行匹配，确定目标人物；

在预设视频帧率间隔获取所述目标人物在不同视频帧图像中的姿态关键 点信息；

根据所述姿态关键点信息的变化编写相应规则对人物运动信息进行建 模，最终根据建模结果判断人物是否存在过激行为以识别所述目标人物的情 绪状态。

可选地，所述确定目标人物之后，所述方法还包括：

为所述目标人物分配人物标识。

可选地，所述在预设视频帧率间隔获取所述目标人物在不同视频帧图像 中的姿态关键点信息，包括：

获取所述第一视频帧图像中的第一姿态关键点信息和所述间隔预设视频 帧率(fps/2)后的第fps/2视频帧图像中的第二姿态关键点信息；

根据所述第一视频帧图像中所有姿态关键点信息落入第一视频帧图像中 所有人物检测边框的数量，以及所述第二姿态关键点信息落入所述第二人物 检测边框的数量，确定所述第一视频帧图像中所有姿态关键点信息和所述第 二视频帧图像中所有关键点信息对应的目标人物。

可选地，所述根据所述姿态关键点信息的变化对人物运动信息进行建模 以识别所述目标人物的情绪状态，包括：

通过手部关键点和头部关键点之间的距离变化速度确定所述目标人物的 第一行为激烈程度值，并累加情绪状态初始值；

通过小臂关键点和大臂关键点之间的夹角变化速度，确定所述目标人物 的第二行为激烈程度值，并累加情绪状态初始值；