[发明专利]基于多挑战感知学习模型的训练、跟踪方法

权利要求书

1.基于多挑战感知学习模型的训练方法，其特征在于，包括以下步骤：

S11、构建网络模型；

所述网络模型由依次串联的用于获取候选样本特征图的多级挑战模块、Adaptive RoIAlign层、分类器模块组成；

其中，所述多级挑战模块包括第一级挑战模块、第二级挑战模块、第三级挑战模块；

所述第一级挑战模块包括第一卷积层模块、第一多挑战感知器模块、第一concatenate函数层、第一聚合层模块，将候选样本分别输入至第一卷积层模块、第一多挑战感知器模块中，第一卷积层模块用来提取通用的目标特征，第一多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第一多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第一聚合层模块，第一聚合层模块将得到的多挑战特征进行聚合处理，第一聚合层模块处理的结果与第一卷积层模块提取的目标特征进行相加融合，输送至所述第二级挑战模块处；

所述第二级挑战模块包括第二卷积层模块、第二多挑战感知器模块、第二concatenate函数层、第二聚合层模块，所述第二卷积层模块、第二多挑战感知器模块接收到第一级挑战模块输出的相加融合的结果；第二多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第二多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第二聚合层模块，第二聚合层模块将得到的多挑战特征进行聚合处理，第二聚合层模块处理的结果与第二卷积层模块提取的目标特征进行相加融合；输送至第三级挑战模块处；

所述第三级挑战模块包括第三卷积层模块、第三多挑战感知器模块、第三concatenate函数层、第三聚合层模块，所述第三卷积层模块、第三多挑战感知器模块接收到所述第二级挑战模块输出的相加融合的结果；第三多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第三多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第三聚合层模块，第三聚合层模块将得到的多挑战特征进行聚合处理，第三聚合层模块处理的结果与第三卷积层模块提取的目标特征进行相加融合；

其中，所述第一多挑战感知器模块、所述第二多挑战感知器模块和所述第三多挑战感知器模块均由依次串联的卷积层、ReLU激活函数层、批归一化层、随机失活层、最大池化层组成；

所述第一聚合层模块、所述第二聚合层模块和所述第三聚合层模块均由依次串联的卷积层、ReLU激活函数层、局部响应归一化层组成；

S12、使用标定好目标的VOT数据集来训练所述的网络模型；

所述步骤S12包括；

S1201、在每一帧中根据给定的真值框选取S₊＝50，IOU≥0.7时和S-＝200，IOU≤0.5时的样本数；其中，S₊表示正样本，S_-表示负样本，IOU表示采集样本与真值框之间的交并比；

S1202、通过采集的正负样本，使用随机梯度下降法进行迭代训练，每次迭代训练根据以下方法处理：VOT数据集中的视频序列的个数为K，K为正整数，并为每个视频序列构建一个新的随机初始化的FC6全连接层；

S1203、训练分为两个阶段，第一阶段提取VOT数据集中每个视频序列不同挑战帧的集合，用不同挑战帧的集合训练多挑战感知器模块；

第二阶段使用整个VOT数据集训练聚合层模块，得到最终的用来进行视觉目标跟踪的训练模型。

2.根据权利要求1所述的基于多挑战感知学习模型的训练方法，其特征在于，所述步骤S11中；

所述多级挑战模块输送到达Adaptive RoI Align层，Adaptive RoI Align层加快跟踪过程中候选区域的特征提取过程，根据不同候选样本提取对应位置的深度特征得到最终的特征图，再输送至分类器模块，分类器模块进行计算得到每个候选样本的得分。