[发明专利]空间与或图模型生成方法、装置、电子设备和存储介质

说明书

本发明公开了一种空间与或图模型生成方法、装置、电子设备和存储介质，包括：获取场景视频；利用预先训练的场景目标检测网络对场景视频中的目标进行检测，得到每一帧图像中各目标分别对应的属性信息；场景目标检测网络基于YOLO_v3网络的主干网络中残差模块更换为密集连接模块得到；基于每一帧图像中各目标分别对应的属性信息，利用预设的多目标跟踪算法对各帧图像中的相同目标进行匹配；确定每一帧图像中不同目标之间的实际空间距离；利用匹配后各帧图像对应的目标的属性信息及实际空间距离生成预设场景的空间与或图模型。本发明改进YOLO_v3网络进行目标检测，可提高目标检测精度和效率，提高场景空间与或图模型的准确性和实时性。

技术领域

本发明属于图像表示领域，具体涉及一种空间与或图模型生成方法、装置、电子设备和存储介质。

背景技术

与或图(And-Or Graph，AOG)是一种随机上下文无关语法(SCSG)的层次组合模型，其表示由一组终端和非终端节点从顶层到叶子节点的层次分解，概述了图像语法中的基本概念。其中，与节点表示目标分解，或节点表示可替代的子配置。

对于与或图来讲，使用小的零件字典通过与或图的与节点以及或节点分层表示图像中的目标，这种模型可以体现图像中目标的空间组合结构，也可以称之为空间与或图(Spatial And-Or graph，S-AOG)模型。空间与或图模型基于目标的空间位置关系，通过不同空间配置将目标的部件进行分层组合来表示目标。因此可以用来在图像分析中解析各个目标的位置关系，从而实现目标定位和跟踪等具体应用。比如，可以实现对交通路口、广场等复杂场景的目标识别和定位，等等。

在以前的空间与或图模型中，为了确定目标在空间中的位置关系，通常使用传统的目标检测算法，如前后背景分割、目标聚类算法等。但是，使用上述目标检测算法，对于目标的空间位置关系的定位准确性不够，进而获得的目标表示的S-AOG的模型也不够准确。同时，伴随着目标快速分析、检测需求的日益增长。传统的目标检测算法的检测效率已经无法满足实时检测的要求，得到的空间与或图模型的实时性普遍较差。

发明内容

本发明实施例的目的在于提供一种空间与或图模型生成方法、装置、电子设备及存储介质，以实现提高目标检测精度和效率，从而提高场景的空间与或图模型的准确性和实时性的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种空间与或图模型生成方法，所述方法包括：

获取针对预设场景的场景视频；

利用预先训练的场景目标检测网络对所述场景视频中的目标进行检测，得到所述场景视频的每一帧图像中各目标分别对应的属性信息；其中，所述场景目标检测网络是基于YOLO_v3网络的主干网络中，残差模块更换为密集连接模块得到的；所述场景目标检测网络是根据样本场景视频，以及所述样本场景视频的每一帧图像中各目标的属性信息训练得到的；所述属性信息包括包含所述目标的边界框的位置信息和所述目标的类别信息；

基于所述每一帧图像中各目标分别对应的属性信息，利用预设的多目标跟踪算法对所述场景视频的各帧图像中的相同目标进行匹配；

确定每一帧图像中不同目标之间的实际空间距离；

利用匹配后各帧图像对应的目标的所述属性信息以及所述实际空间距离，生成所述预设场景的空间与或图模型。

可选的，所述场景目标检测网络的主干网络包括多个间隔串接的密集连接模块和过渡模块；所述密集连接模块的数量至少为三个；所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块包括串行连接的卷积层、BN层、Leaky relu层；所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；其中，m为大于等于4的自然数。

可选的，所述过渡模块为所述卷积网络模块。