[发明专利]目标分割追踪方法、装置、电子设备和存储介质

说明书

本申请实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码并构建特征金字塔；根据特征金字塔对各个目标的类别和位置进行预测，并计算各个目标的形心坐标；然后对各个目标的轮廓进行回归，并基于形心坐标计算各个目标的轮廓点的坐标；根据轮廓点的坐标生成目标的追踪向量；最后对连续帧中的各个目标的追踪向量进行匹配，获得各个目标的追踪ID。本申请实施例基于形心坐标预测目标的轮廓点的坐标，并计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓和追踪向量的生成问题，简化了模型预测难度和学习难度，提升了模型总体的推算速度。

技术领域

本申请涉及图像处理技术，具体地，涉及一种目标分割追踪方法、装置、电子设备和存储介质。

背景技术

在无人驾驶领域中，相机是使用最多也是相对较为成熟的传感器。无人驾驶的感知系统处于整个系统的最前端，用于对车辆周边环境的精确感知和数据形式化规约，是无人驾驶智能化控制的关键步骤之一。

在无人驾驶的感知系统中，对场景中的动态目标(行人、车辆及骑行者等)的识别和追踪任务能够提供有效的目标轨迹变化信息，从而分析场景中动态目标的运动意图，为无人驾驶决策和车辆控制提供判断依据。

目前，通常使用多目标分割和追踪(Multi-object tracking and segmentation，MOTS)任务模型来进行多目标的追踪。但是，由于MOTS模型的计算复杂度较高，受目前的无人驾驶领域的车载计算硬件的约束，导致在无人驾驶车辆的车载终端部署MOTS模型用于多目标追踪还存在着极大的挑战。

发明内容

本申请实施例中提供了一种目标分割追踪方法、装置、电子设备和存储介质，用于解决目前的MOTS模型由于计算复杂度较高导致无法在车载终端部署的问题。

根据本申请实施例的第一个方面，提供了一种多目标分割追踪方法，所述方法包括：

获取待处理图像；

通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；

根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；

针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；

针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；

通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。

根据本申请实施例的第二个方面，提供了一种多目标分割追踪装置，所述装置包括：

图像获取模块，用于获取待处理图像；

卷积模块，用于通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；

形心计算模块，用于根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；

目标轮廓计算模块，用于针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；

追踪向量计算模块，用于针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；

匹配模块，用于通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。