[发明专利]一种目标行为时空感知定位模型的建立方法及应用

说明书

本发明公开了一种目标行为感知时空定位模型的建立方法及应用，属于图像处理技术领域，包括基于深度网络建立目标行为感知时空定位模型，包括时空行为感知子网络和空域目标定位子网络；时空行为感知子网络包括：掩码预测模块基于支持集图像和查询集图像得到目标区域掩码特征图基于图像信息感知模块得到查询图像信息特征图将和输入图像级特征融合层得到目标信息增强的特征图基于运动信息感知模块得到稠密帧序列图像的运动信息特征图将和输入全局特征融合层得到时空行为感知特征图将输入行为分类模块得到类别结果；通过空域目标定位子网络得到目标定位结果。本发明有效关注并利用目标区域信息，定位准确率更高。

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种目标行为时空感知定位模型的建立方法及应用。

背景技术

视频序列时空感知属于计算机视觉领域近年来较热门的问题，旨在通过对于视频的学习能够使模型既能对于视频中的目标进行定位检测，又能从行为的起始帧至结束帧进行识别标记。由于通常基于大量的数据量进行训练，且视频段的帧数较多，在每次迭代训练的过程中消耗的计算机内存资源较多，以及训练所需要的时间往往较长。另外由于目标尺度变化差异大，漏检、虚检的问题较多，在目标轮廓形状变化小的情况下，行为的分类难度也较大。

对于现有的视频序列时空感知方法，多采用基于深度网络的方法进行学习，相较基于人工特征的传统方法能考虑更多特征，具有更强的适应性以及特征表达能力。基于深度网络的较主流的方法有：基于双流特征提取的方法，依赖色彩通道来获取空间信息以及光流计算来获取时间信息，使得计算时包含较多的颜色特征信息，且需要对于光流进行额外的计算，与色彩通道不能端到端的进行特征融合，计算量较大，所消耗资源较多；基于传统的2D卷积增加一个时间维度，进行三维的时空感知方法，此类方法通常对于目标检测与行为定位具有相同的输入帧频以及特征图，提取到的特征图在面对多任务时往往不具有针对性以及足够的表征能力，需要大量的训练输入才能得到较好的收敛效果。

另外，针对的目标属于飞行器这一类刚体目标，现有的大多数时空行为感知模型多基于以人为主体的行为数据集进行训练，而对于刚体来说不存在自身相对结构的复杂变形，如坐下、举手等行为产生的自身形变，只存在由于视角距离等差异引起的观察形变，且人所处的环境对于人的行为分类具有较强的影响(如摔倒或躺卧)，而对于飞行器而言，时空行为感知模型需要更多的关注目标本身姿态的变化，而非自身结构的相对变化。另外，目标翻转或者释放等状态切换都可能处于同一天空背景，部分行为的分类对于背景存在较弱的依赖，因此需要更多的关注目标本身的姿态变化来指导行为的分类。

综上所述，由于现有方法对于整幅图像信息进行了粗精度的感知以及特征提取，对目标所在区域的像素信息利用不足，而不适用于空中目标行为感知的情形，且这些方法通常依赖大量有标签的数据集，计算复杂度较高，计算时消耗的内存较大，现有的视频序列时空感知定位方法有待进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种目标行为时空感知定位模型的建立方法及应用，旨在解决现有的行为感知时空定位方法对目标所在区域像素信息利用不足，不适用于对飞行器等刚体目标进行行为感知时空定位的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种目标行为感知时空定位模型的建立方法，包括：建立深度神经网络，并利用数据集对其进行训练，得到目标行为感知时空定位模型；

深度神经网络包括时空行为感知子网络和空域目标定位子网络，时空行为感知子网络包括：

掩码预测模块，用于对支持集图像和查询集图像进行目标区域特征感知，并利用感知结果对查询集图像进行目标掩码预测，得到目标区域掩码特征图

图像信息感知模块，用于对查询集图像进行特征提取，得到图像信息特征图

图像级特征融合层，用于对目标区域掩码特征图和图像信息特征图进行逐通道特征融合，并将融合后特征与图像信息特征图叠加得到目标信息增强的特征图