[发明专利]一种多目标行为识别方法、装置、存储介质以及电子设备

说明书

本申请实施例提供一种多目标行为识别方法、装置、存储介质以及电子设备，所述方法包括：采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列；根据目标对象的人体序列和手部序列识别所述目标对象的行为，其中，所述目标对象属于所述至少一个对象中的包括的任意一个或多个对象，所述行为的类型包括是否抽烟。本申请的一些实施例通过多目标跟踪和行为识别实现了多目标对象的行为识别。

技术领域

本申请涉及行为识别领域，具体而言本申请实施例涉及一种多目标行为识别方法、装置、存储介质以及电子设备。

背景技术

随着监控摄像头在各个场景中的广泛应用，针对视频的分析与理解任务获得了极大的关注。

例如，在加油站等很多场景中，抽烟打电话等行为会严重影响其安全，严重时可能引发火灾甚至爆炸。因此对这些违规行为进行实时的监测和判定是非常有必要的。

发明内容

本申请实施例的目的在于提供一种多目标行为识别方法、装置、存储介质以及电子设备，本申请的一些实施例通过引入针对人体区域和手部区域的细粒度区域的分类方法，可对这些违规行为进行实时的监测和判定，对实际视频的分析与理解实现违规行为的准确判定，有效地减少误报。

第一方面，本申请的一些实施例提供一种多目标行为识别方法，所述方法包括：采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列；根据目标对象的人体序列和手部序列识别所述目标对象的行为，其中，所述目标对象属于所述至少一个对象中的包括的任意一个或多个对象，所述行为包括目标场景的违规行为。

本申请的一些实施例通过多目标跟踪和行为识别实现了多目标对象的行为识别，提升了对加油站等场景中的违规行为进行实时的监测和判定的效果。

在一些实施例中，所述多目标跟踪算法包括简单在线实时跟踪算法SORT算法。

本申请的一些实施例采用这种算法可以实现实时的多目标跟踪。

在一些实施例中，所述采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列，包括：对每一帧图像中的行人和手部区域均进行检测，得到检测结果；当获取到第一帧图像时，利用所述检测结果对每个对象进行初始化并创建与所述每个对象对应的跟踪器，标注每个跟踪器的标识号；在后续帧进行处理时，首先获得前面帧的检测框产生的状态预测和协方差预测，从而获取跟踪器中所有目标状态预测和当前帧检测框的感兴趣区域；其次，获得所述感兴趣区域的最大的匹配，用本帧中匹配到的检测框对滤波器进行更新，计算增益、状态更新和协方差更新，并将状态更新值输出，作为所述本帧的跟踪框，得到所述本帧上的所有对象的人体区域和手部区域。

本申请的一些实施例采用多个跟踪器获取多目标中各目标的跟踪框，最终实现目标的实时跟踪。

在一些实施例中，所述根据目标对象的人体序列和手部序列识别所述目标对象的行为包括：根据由卷积神经网络和变种长短时记忆网络组成的行为识别网络获取所述目标对象的行为。

本申请的一些实施例采用特征提取网络和长短时记忆网络可以结合前后帧之间的关系获取更加准确识别行为的具体类型。

在一些实施例中，所述根据由卷积神经网络和变种长短时记忆网络组成的行为识别神经网络获取所述目标对象的行为，包括：根据所述行为识别网络获取所述目标对象的人体序列的第一行为分类结果；根据所述行为识别网络获取所述目标对象的手部序列的第二行为分类结果；融合所述第一行为分类结果和所述第二行为分类结果得到所述目标对象的行为。

本申请的一些实施例通过融合不同关注区域的行为分类结果得到最终的行为分类结果，提升了行为分类结果的准确性。