[发明专利]目标运动状态识别方法、装置、设备及介质

说明书

本发明公开了目标运动状态识别方法、装置、设备及介质。本发明以网络流离线跟踪算法的基本思想为骨架，提供一种全新的基于深度学习的图片流行人运动状态识别方法，能够针对违法审核场景的图片流给出效果好且适应场景的行人跟踪结果，比直接套用在线/离线跟踪的传统方法效果提升很多，并提供传统方法不容易直接得出的最终行人运动状态信息。

技术领域

本发明属于图像处理技术领域，尤其涉及目标运动状态识别方法、装置、设备及介质。

背景技术

在交通违法证据图片审核中，针对不礼让行人的违法，首先需要判断间隔时间很长且不定长的图片流中出现的全部行人的状态，包括位置、轨迹等。因此，首先需要用检测器检测出每张图中的行人，然后对行人做跟踪，最终再对每个跟踪出来的行人id根据其位置轨迹做该id的运动状态判断，如不动、从左往右运动、从右往左运动、起始点是否从斑马线出发，出现时间点和消失时间点、垂直运动等，为后续进一步判断违法车辆是否存在不礼让行人的行为做判断依据。

违法审核场景的图片流行人跟踪的难点在于：图片之间时间跨度极大，甚至可以达到10秒级别，图与图之间时间间隔也不是均匀的，因此每张图之间行人状态变化很大，在现实场景人行人又往往拥挤、穿着相像、不规则运动，最终导致该场景的行人跟踪不属于常规跟踪问题，相比普通跟踪场景难度提速了好几个等级。

对于行人跟踪，传统方案如deepsort主要适应场景是实时视频流跟踪，对于时间跨度极大且每张图间隔时间不定、跟踪图片数量大多数2到3张最多6张的图片流跟踪无法适应；且deepsort属于在线跟踪，不会使用全局信息，而违法审核场景的图片流跟踪只涉及到最多6张图片。

传统的跟踪方法还存在的问题是，没有利用到行人特有的单帧姿势/朝向信息来辅助跟踪，而这种信息在信息量严重缺失的少量图片流跟踪里非常必要；另一方面，跟踪是为了最终提供行人的运动状态信息，因此最终也需要有进一步的方法能根据跟踪结果来判断出尽量准确的这几张图中每个id的行人的运动状态。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了目标运动状态识别方法、装置、设备及介质,能够针对违法审核场景的图片流给出效果好且适应场景的行人跟踪结果，比直接套用在线/离线跟踪的传统方法效果提升很多，并提供传统方法不容易直接得出的最终行人运动状态信息。

本发明目的通过下述技术方案来实现：

一种目标运动状态识别方法，所述方法包括：

获取不同场景下行人违反交通法规的图片；

对所述图片标注行人检测框、行人id和行人身体姿势朝向，并训练行人检测器、行人reid模型、行人朝向分类模型；

对于任意一组行人违反交通法规的图片，用所述行人检测器检测出每张图片中的行人，对检测出的每个行人的边框通过行人reid模型提取特征信息，并用行人朝向分类模型得到一个m维的总和为1的概率分布，取所述概率分布中打分最高的一维作为行人的边框朝向；

建立网络流的起点和终点，再依次按时间顺序对每张图的行人边框信息建立所述网络流的有向图的节点和边，所述边包括对应的权值；

根据所述有向图的节点数得出所述网络流的最大可能flow和最小可能flow，并根据所述最大可能flow和所述最小可能flow获得所述网络流的最优解；

根据所述网络流的最优解检测出的行人运动状态。

进一步的，所述建立网络流的起点和终点，再依次按时间顺序对每张图的行人边框信息建立所述网络流的有向图的节点和边，所述边包括对应的权值具体包括以下步骤：

根据任一帧对应的图片的任意行人边框box_k，得到所述行人检测器的检测器打分score_k、所述行人reid模型提取的行人特征f_k和所述行人朝向分类模型检测的行人朝向r_k；