[发明专利]行为识别方法、装置、设备、存储介质及程序产品

说明书

本申请提供一种行为识别方法、装置、设备、存储介质及程序产品，该方法包括：实时获取具有连续帧的目标图像；基于目标检测网络，依次识别出每帧目标图像中的行人信息，所述行人信息包括至少一个行人，以及每个所述行人对应的行人检测框；对于每个行人，根据所述行人对应的行人检测框，采用目标跟踪算法依次在所述连续帧的目标图像中进行匹配，以获取与所述行人匹配的候选目标图像序列；在所述行人对应的候选目标图像序列的帧数达到预设阈值时，采用行为识别网络对所述行人对应的候选目标图像序列进行识别，以获取所述行人对应的行为类别。通过上述方法，可以有效提高密集场景下行人的行为识别效率以及准确率。

技术领域

本申请涉及行为识别技术领域，尤其涉及一种行为识别方法、装置、设备、存储介质及程序产品。

背景技术

随着人工智能技术的不断发展，行为识别在各个领域中应用广泛，尤其在城市交通道路场景中，行人的行为识别对道路安全起着重要作用。

目前的行为识别方法主要包括两种，第一种是在整个视频中通过截取单一行人，采用3D卷积神经网络根据该单一行人的全部视频序列对该行人进行行为分类，其虽然能保障较高的识别准确率，但是在视频中行人较多的场景下，截取工作量大，效率低；第二种是使用目标检测网络，将图片中具有特定行为的行人标注为一类，作为检测的类别，其虽然不受限于多人场景但图片所获得的关联信息较少，而且多种行为类别的类间差异较小，导致识别准确率不高。

因此，提出一种能够有效均衡行为识别效率以及准确率的行为识别方案是目前亟待解决的问题。

发明内容

本申请提供一种行为识别方法、装置、设备、存储介质及程序产品，以至少解决上述技术问题之一。

根据本申请的第一方面，提供一种行为识别方法，包括：

实时获取具有连续帧的目标图像；

基于目标检测网络，依次识别出每帧目标图像中的行人信息，所述行人信息包括至少一个行人，以及每个所述行人对应的行人检测框；

对于每个行人，根据所述行人对应的行人检测框，采用目标跟踪算法依次在所述连续帧的目标图像中进行匹配，以获取与所述行人匹配的候选目标图像序列；

在所述行人对应的候选目标图像序列的帧数达到预设阈值时，采用行为识别网络对所述行人对应的候选目标图像序列进行识别，以获取所述行人对应的行为类别。

在一种实施方式中，所述根据所述行人对应的行人检测框，采用目标跟踪算法依次在所述连续帧的目标图像中进行匹配，包括：

为所述行人对应的行人检测框分配标识ID；

根据所述标识ID，采用目标跟踪算法依次在所述连续帧的目标图像进行行人检测框的匹配，其中匹配成功的行人检测框具有相同标识ID；

将具有相同标识ID的行人检测框对应的目标图像分别进行保存，得到与所述行人匹配的候选目标图像序列。

在一种实施方式中，所述目标跟踪算法为实时多目标ByteTrack跟踪算法，所述连续帧的目标图像包括当前帧的目标图像和前续帧的目标图像，

所述采用目标跟踪算法依次在所述连续帧的目标图像进行行人检测框的匹配，包括：

根据第一置信度阈值将所述行人对应的行人检测框划分为高分检测框和低分检测框；

将所述当前帧目标图像中的高分检测框与前续帧目标图像的行人对应的行人检测框所形成的行人轨迹进行匹配，在所述高分检测框与所述行人轨迹中的第一行人轨迹匹配成功的情况下，判定匹配成功的所述高分检测框与所述第一行人轨迹中对应的行人检测框相匹配；和/或