[发明专利]一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统

权利要求书

1.一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，其特征在于，包括以下步骤：

S1、离线搜索阶段，设计一个通用搜索空间，同时输入一对配准的多模态图像，通过使用多域学习的训练方式以及基于预测器的渐进式搜索方法，离线搜索通用的融合网络结构，使用搜索到的通用的融合网络结构提取图像特征；

S2、在线跟踪阶段，将所述的通用的融合网络结构进行固定，在第一层全连接层处设计一个实例感知搜索空间，根据每个视频的第一帧来选择全连接层的融合网络结构，在后续帧的跟踪中继续使用这一融合网络结构；

S3、把得到的图像特征在最后一个全连接层后送入softmax层，得到样本的得分，正样本中得分最高的就是预测的目标跟踪结果，并根据跟踪结果的成功与否判断是否更新融合网络结构。

2.根据权利要求1所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，其特征在于，步骤S1中所述的通用搜索空间包括VGG-M卷积层不同融合的方式以及五种激活函数：Tanh、ReLU、PReLU、LReLU、ReLU6。

3.根据权利要求2所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，其特征在于，步骤S1中所述的离线搜索通用的融合网络结构是由堆叠一系列的卷积层、非线性层和池化层所组成。

4.根据权利要求3所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，其特征在于，步骤S2中所述的实例感知搜索空间的模态融合方式包括：加法、减法、取最大值、取最小值、取平均值和拼接。

5.根据权利要求4所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，其特征在于，步骤S3中所述的根据跟踪结果的成功与否判断是否更新融合网络结构的方法为：当目标的得分大于零时，判定为跟踪成功，当目标得分小于零时，判定为跟踪失败时，此时进行更新融合网络结构。

6.一种基于两阶段融合结构搜索的RGBT视觉跟踪系统，其特征在于，包括：

离线搜索模块，用于设计一个通用搜索空间，同时输入一对配准的多模态图像，通过使用多域学习的训练方式以及基于预测器的渐进式搜索方法，离线搜索通用的融合网络结构，使用搜索到的通用的融合网络结构提取图像特征；

在线跟踪模块，用于将所述的通用的融合网络结构进行固定，在第一层全连接层处设计一个实例感知搜索空间，根据每个视频的第一帧来选择全连接层的融合网络结构，在后续帧的跟踪中继续使用这一融合网络结构；

判断更新模块，用于把得到的图像特征在最后一个全连接层后送入softmax层，得到样本的得分，正样本中得分最高的就是预测的目标跟踪结果，并根据跟踪结果的成功与否判断是否更新融合网络结构。

7.根据权利要求6所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪系统，其特征在于，离线搜索模块中所述的通用搜索空间包括VGG-M卷积层不同融合的方式以及五种激活函数：Tanh、ReLU、PReLU、LReLU、ReLU6。

8.根据权利要求7所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪系统，其特征在于，离线搜索模块中所述的离线搜索通用的融合网络结构是由堆叠一系列的卷积层、非线性层和池化层所组成。

9.根据权利要求8所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪系统，其特征在于，在线跟踪模块中所述的实例感知搜索空间的模态融合方式包括：加法、减法、取最大值、取最小值、取平均值和拼接。

10.根据权利要求9所述的一种基于两阶段融合结构搜索的RGBT视觉跟踪系统，其特征在于，判断更新模块中所述的根据跟踪结果的成功与否判断是否更新融合网络结构的方法为：当目标的得分大于零时，判定为跟踪成功，当目标得分小于零时，判定为跟踪失败时，此时进行更新融合网络结构。