[发明专利]一种基于条件卷积和光流特征的多目标跟踪与分割方法

权利要求书

1.一种基于条件卷积和光流特征的多目标跟踪与分割方法，其特征在于，所述方法包括如下步骤：

步骤一：输入当前帧图片，通过卷积神经网络提取当前图片五个不同尺度大小的外观特征f_i，i＝1,2,3,4,5，同时，输入当前图片相对于上一帧和下一帧的光流结果，通过下采样以及多个卷积层计算得到与f_i相同大小的五个相应尺度的光流特征p_i，i＝1,2,3,4,5；将光流特征p_i与外观特征f_i相乘，计算公共特征，再将公共部分与外观特征f_i按元素相加，得到含有运动信息的特征图，并传入特征金字塔网络；

步骤二：对特征金字塔网络提取的特征图进行检测，得到当前图片上检测到的目标信息D₁＝{d1,d2,d3,…}，其中每个d包含{class,score,box,mask,offset}，class代表该目标类别，只对行人进行检测，scores代表检测的置信度得分，box代表回归的边界框，mask代表分割掩码，offset表示该目标在下一帧上的偏移量；

步骤三：去除D₁中置信度小于检测阈值θ的目标，并将检测结果D₁进行Mask NMS处理，剩下的对象初始化为活跃轨迹T＝{t1,t2,t3,…}，删除的对象添加到不活跃轨迹inactive_tracks＝{t1,t2,t3,…}，并删除不活跃轨迹中存活时间大于max_age的轨迹；

步骤四：输入第二帧图片以及该图片相对于下一帧的光流特征，并重复步骤一和步骤二得到第二帧图片上的D；

步骤五：轨迹T通过offset去计算在第二帧上可能出现的位置pred_Detection，pred_Detection中大于回归阈值λ的用于更新T中的轨迹，否则添加到不活跃的轨迹inactive_tracks；

步骤六：通过重识别(re-ID)网络分别提取D和T中对象的n＝128维外观特征向量，并遍历循环计算外观特征向量的欧式距离

通过匈牙利算法进行匹配，D中成功匹配上的对象用于更新T中的对象，未成功匹配的对象再与不活跃轨迹Inactive_Track进行外观特征向量的匹配，成功匹配的轨迹添加到活跃轨迹中，D中仍未匹配的对象初始化为新的轨迹添加到T中，以此达到更新轨迹的目的；

步骤七：循环输入视频的下一帧，并重复步骤四和步骤五；

步骤八：对于每张图片上对象的分割结果，当出现某个像素点被分配给多个对象时，将该像素点分配给置信度得分更高的对象。