[发明专利]一种基于时空与或图的场景目标活动预测方法及装置

说明书

本发明公开了一种基于时空与或图的场景目标活动预测方法、装置、电子设备及存储介质，包括：获取针对预设场景的场景视频；通过对场景视频中的目标进行检测和跟踪，生成预设场景的空间与或图模型；其中，空间与或图模型表征场景视频中目标的空间位置关系；对空间与或图模型利用子活动提取算法得到表征关注目标的活动状态的子活动标签集；将子活动标签集输入预先得到的时间与或图模型，得到预设场景中关注目标未来活动的预测结果；其中，时间与或图模型是利用预先建立的预设场景的目标的活动语料库得到的。本发明首次将时空与或图引入目标活动预测领域，可以实现对预设场景中目标的活动进行有效预测的目的。

技术领域

本发明属于预测领域，具体涉及一种基于时空与或图的场景目标活动预测方法及装置。

背景技术

由于人类等目标的活动具有非马尔可夫性，并且活动背景日趋复杂。为了确保安全，在各个场景中，通常利用视频监控设备来监控目标的行为。

通过对监控视频进行检测分析，可以得到目标当前的行为状况。但是这种检测技术属于事后检测，无法预测目标在未来时刻的活动，因而针对某些场景，无法针对目标未来时刻的活动给与对应的响应；或者无法及时避免安全事件的发生，如避免车祸、盗窃事件等。

因此，如何对场景中目标的活动进行有效预测，是本领域亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种基于时空与或图的场景目标活动预测方法、装置、电子设备及存储介质，以实现对场景中目标的活动进行有效预测的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种基于时空与或图的场景目标活动预测方法，所述方法包括：

获取针对预设场景的场景视频；

通过对所述场景视频中的目标进行检测和跟踪，生成所述预设场景的空间与或图模型；其中，所述空间与或图模型表征所述场景视频中目标的空间位置关系；

对所述空间与或图模型利用子活动提取算法得到表征关注目标的活动状态的子活动标签集；

将所述子活动标签集输入预先得到的时间与或图模型，得到所述预设场景中所述关注目标未来活动的预测结果；其中，所述时间与或图模型是利用预先建立的所述预设场景的目标的活动语料库得到的。

可选的，所述通过对所述场景视频中的目标进行检测和跟踪，生成所述预设场景的空间与或图模型，包括：

利用预先训练得到的目标检测网络对所述场景视频中的目标进行检测，得到所述场景视频的每一帧图像中各目标分别对应的属性信息；其中，所述属性信息包括包含所述目标的边界框的位置信息；

基于所述每一帧图像中各目标分别对应的属性信息，利用预设的多目标跟踪算法对所述场景视频的各帧图像中的相同目标进行匹配；

确定每一帧图像中不同目标之间的实际空间距离；

利用匹配后各帧图像对应的目标的所述属性信息以及所述实际空间距离，生成所述预设场景的空间与或图模型。

可选的，所述目标检测网络包括YOLO_v3网络；所述预设的多目标跟踪算法包括DeepSort算法。

可选的，所述确定每一帧图像中不同目标之间的实际空间距离，包括：

在每一帧图像中，确定每个目标的像素坐标；

利用单目视觉定位测距技术，针对每个目标，计算该目标的所述像素坐标在世界坐标系中对应的实际坐标；

针对每一帧图像，利用该帧图像中每两个目标的所述实际坐标，得到该帧图像中该两个目标之间的实际空间距离。

可选的，所述对所述空间与或图模型利用子活动提取算法得到表征关注目标的活动状态的子活动标签集，包括：