[发明专利]打架行为识别方法、装置及电子设备

说明书

本发明公开一种打架行为识别方法、装置及电子设备。本发明通过获取监控视频流的图像帧，将图像帧输入行人检测模型进行检测，得到行人检测结果，将行人检测结果裁剪到固定尺寸，进行归一化后，得到图像特征，将图像特征输入人体关键点检测模型进行检测，得到多个人体关键点，并通过人体关键点检测模型的分类分支得到打架类别概率P1，根据人体关键点的分布情况，计算关键点逻辑得分，将行人检测结果按时间顺序堆叠成固定长度特征，输入时序分类模型进行检测，得到打架类别概率P2，根据关键点逻辑得分、打架类别概率P1以及打架类别概率P2，计算打架得分，根据打架得分进行打架行为报警，能够准确判断出是否存在打架行为。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种打架行为识别方法、装置及电子设备。

背景技术

现有的安全监控系统中，通常是通过监控人员的即时反馈来报告异常情况，但人为监控的方式存在即时性不能保证，耗费大量人力资源等缺陷。在轨道交通场景中，人员流动性大，一旦因为发生打架斗殴行为不能及时告警，会造成人流堵塞，甚至出现踩踏事件。因此一种及时告警的打架行为检测方法能为维护社会治安提供即时响应和关键证据。

专利CN113111733A公开一种基于姿态流的打架行为识别方法，该方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列，结合传统图像算法对人体进行跟踪，通过对视频流连续帧中的人体姿态队列进行逻辑分析，判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报，然而，行人属于非刚性物体，在打架过程中的行人姿态变换多样，姿态自由度高，打架过程中往往存在部分遮挡、模糊等非理想情况，如果采用直接关键点模型，关键点误检较多，影响对打架行为识别的准确度。

发明内容

本发明的目的在于提供一种打架行为识别方法、装置及电子设备，以解决现有技术采用直接关键点模型，关键点误检较多，影响对打架行为识别的准确度的问题。

第一方面，本发明提供一种打架行为识别方法，包括：

获取监控视频流的图像帧；

将所述图像帧输入行人检测模型进行检测，得到行人检测结果；

将所述行人检测结果裁剪到固定尺寸，进行归一化后，得到图像特征；

将所述图像特征输入人体关键点检测模型进行检测，得到多个人体关键点，并通过人体关键点检测模型的分类分支得到打架类别概率P1；

根据所述人体关键点的分布情况，计算关键点逻辑得分；

将所述行人检测结果按时间顺序堆叠成固定长度特征，输入时序分类模型进行检测，得到打架类别概率P2；

根据所述关键点逻辑得分、打架类别概率P1以及打架类别概率P2，计算打架得分；

根据所述打架得分进行打架行为报警。

进一步地，将所述图像帧输入行人检测模型进行检测，得到行人检测结果，包括：

将所述图像帧输入行人检测模型中，得到每一个行人的检测框和对应的整个画面特征向量；

根据所述行人检测框，计算出检测框的中心点。

进一步地，将所述图像特征输入人体关键点检测模型进行检测，得到多个人体关键点，并通过人体关键点检测模型的分类分支得到打架类别概率P1，包括：

将所述图像特征输入人体关键点检测模型进行检测，得到多个人体关键点；

根据所述图像特征以及人体关键点，利用人体关键点检测模型的分类分支来区分人体是否为打架姿态，得到打架类别概率P1。

进一步地，将所述图像特征输入人体关键点检测模型进行检测，得到多个人体关键点之后，所述方法还包括：

将打架行为识别中非必要的人体关键点去除。

进一步地，根据所述人体关键点的分布情况，计算关键点逻辑得分，包括：