[发明专利]一种多任务多目标关联追踪的方法及装置

权利要求书

1.一种多任务多目标关联追踪的方法，其特征在于，包括以下步骤：

步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作；

步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据；

步骤三，通过人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段，具体为：采用NvDCF、Deepsort或IOU目标追踪方法，给场景中每人一个身份标识id，并获得每人的跟踪结果：

，其中，分别为目标框横坐标方向上的两个点，分别为目标框纵坐标方向上的两个点，N是≥1的整数；

将目标人员的id第一次出现的时间作为该目标人员进入场景的时间，将目标人员id消失的时间作为该目标人员离开场景的时间，以此得到检测单位时间段；

步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端，具体为：在检测单位时间段内，对目标人员进入场景后的每一帧图像进行检测，记录人员的身份标识id并将判断目标物体后的标签存入对应目标人员的标签队列，保存入场时间，当对应目标人员离开场景时，记录离开时间，并根据对应目标人员的物体检测信息，返回相应的报警信息至平台端；

所述根据对应目标人员的物体检测信息，是指在多目标物体和多人员的场景图像中，若检测没有出现目标物体，则返回相应的报警信息至平台端；若检测出现多目标物体，则利用关联匹配规则来判定目标物体对应所属的目标人员；

所述关联匹配规则，具体为：

首先计算场景图像中多个物体所对应的实际距离，即每个人员与该目标物体的实际距离，具体的：设摄像头的焦距为F，人的平均高度为，类型一物体的平均长度为，类型二物体的长度为，根据检测的坐标数据获取人和类型一物体以及类型二物体的中点坐标，和高度height，则深度计算公式为：

(1)

根据公式（1）分别计算出人、类型一物体以及类型二物体的深度，同时根据公式（2）和（3）计算出中点坐标所对应的实际坐标：

(2)

(3)

获取到检测物体的三维坐标（，，distance）；

然后，通过欧式距离计算出人与类型一物体和类型二物体的距离，再将物体与距离最近的人员的身份标识返回作为匹配结果；

所述报警信息的判断具体为：当目标人员的标签队列中出现类型一物体的标签时，则将该标签所对应的帧数据取出，计算人与类型一物体的距离，当距离小于设定阈值threshold-card时，则判定该类型一物体是此目标人员的，否则依然向平台端返回报警信息，同理，在判断是否检测类型二物体时，首先判断该目标人员的标签队列是否出现类型二物体的标签，如果出现，则取出该标签所对应的帧数据，计算人与类型二物体的距离，如果类型二物体与人的距离小于设定的阈值threshold-box，则判定类型二物体属于此目标人员，否则，依然向平台端返回预警信息，同时将判断目标人员进入到离开的时间是否大于阈值threshold-time，大于该阈值时，才判定该目标人员的关联行为。

2.如权利要求1所述的一种多任务多目标关联追踪的方法，其特征在于，所述步骤一具体为：采用摄像头实时采集场景的视频流或通过deepstream架构进行视频流的加载，通过以GStreamer插件的形式构建视频流分析管道，并使用NVDEC加速器进行解码，通过Gst-nvdewarper插件和Gst-nvvideoconvert插件进行图像预处理，使用Gst-nvstreammux插件完成图像的批处理。

3.如权利要求1所述的一种多任务多目标关联追踪的方法，其特征在于，所述步骤二具体为：采用两个基于yolov5的目标检测模型：人员检测模型和物体检测模型，对视频流的每一帧图像进行检测，获得当前帧场景中N个人员目标框和当前帧场景中M个物体目标框。

4.一种多任务多目标关联追踪的装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-3中任一项所述的一种多任务多目标关联追踪的方法。

5.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-3中任一项所述的一种多任务多目标关联追踪的方法。