[发明专利]一种多目标行为识别方法、装置、存储介质以及电子设备

权利要求书

1.一种多目标行为识别方法，其特征在于，所述方法包括：

采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列；

根据目标对象的人体序列和手部序列识别所述目标对象的行为，其中，所述目标对象属于所述至少一个对象中的包括的任意一个或多个对象，所述行为包括目标场景的违规行为。

2.如权利要求1所述的方法，其特征在于，所述多目标跟踪算法包括SORT算法。

3.如权利要求1所述的方法，其特征在于，所述采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列，包括：

对每一帧图像中的行人和手部区域均进行检测，得到检测结果；

当获取到第一帧图像时，利用所述检测结果对每个对象进行初始化并创建与所述每个对象对应的跟踪器，标注每个跟踪器的标识号；

在后续帧进行处理时，首先获得前面帧的检测框产生的状态预测和协方差预测，从而获取跟踪器中所有目标状态预测和当前帧检测框的感兴趣区域；其次，获得所述感兴趣区域的最大的匹配，用本帧中匹配到的检测框对滤波器进行更新，计算增益、状态更新和协方差更新，并将状态更新值输出，作为所述本帧的跟踪框，得到所述本帧上的所有对象的人体区域和手部区域。

4.如权利要求1所述的方法，其特征在于，所述根据目标对象的人体序列和手部序列识别所述目标对象的行为包括：根据由卷积神经网络和变种长短时记忆网络组成的行为识别网络获取所述目标对象的行为。

5.如权利要求4所述的方法，其特征在于，所述根据由卷积神经网络和变种长短时记忆网络组成的行为识别神经网络获取所述目标对象的行为，包括：

根据所述行为识别网络获取所述目标对象的人体序列的第一行为分类结果；

根据所述行为识别网络获取所述目标对象的手部序列的第二行为分类结果；

融合所述第一行为分类结果和所述第二行为分类结果得到所述目标对象的行为。

6.如权利要求5所述的方法，其特征在于，

所述根据所述行为识别网络获取所述目标对象的人体序列的第一行为分类结果，包括：

根据所述卷积神经网络提取所述目标对象对应的人体序列中的特征，得到所有帧的特征序列；

将所述所有帧的特征序列送入变种长短时记忆网络，获得一个长度等于帧数的序列，将所述序列的结果进行平均输出作为所述第一行为分类结果。

7.如权利要求5所述的方法，其特征在于，

所述根据所述行为识别网络获取所述目标对象的手部序列的第二行为分类结果，包括：

根据所述卷积神经网络提取所述目标对象对应的手部序列中的特征，得到所有帧的特征序列；

将所述所有帧的特征序列送入变种长短时记忆网络，获得一个长度等于帧数的序列，将所述序列的结果进行平均输出作为所述第二行为分类结果。

8.一种多目标行为识别装置，其特征在于，所述装置包括：

特征序列获取模块，被配置为采用多目标跟踪算法确定目标场景中至少一个对象所在的人体区域和所述至少一个对象的手部所在的手部区域，得到与各对象分别对应的人体序列和手部序列；

行为识别模块，被配置为根据目标对象的人体序列和手部序列识别所述目标对象的行为。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-7中任意一项权利要求所述的方法。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-7中任意一项权利要求所述的方法。