[发明专利]一种应用于机动平台的嵌入式孪生网络实时跟踪方法

权利要求书

1.一种应用于机动平台的嵌入式孪生网络实时跟踪方法，其特征在于，包括如下步骤：

步骤1：对单目标跟踪数据集进行预处理，将目标跟踪数据集图像中的目标按照标定完成的框裁剪成图像，该图像作为模板图像；再在模板图像的周围略大区域裁剪出包含目标的图像，该图像作为搜索图像1；继续在模板图像的周围略大区域裁剪出包含目标的图像，该图像不与搜索图像1相同，作为搜索图像2；最终得到“模板图像-搜索图像1和2”的图像对的形式，单目标跟踪数据集提供“模板图像-搜索图像1和2”以及搜索图像1中目标的真实类别、真实偏差和真实尺度；

并对制作的数据集进行训练集与测试集的划分；

步骤2：构建一种具有三个输入分支、三个输出分支的端到端的孪生网络模型；

所述端到端的孪生网络模型包括三个输入分支、特征提取网络、相关滤波相关操作网络、图注意力相关操作网络以及作为回归输出层的三个输出分支；

所述三个输入分支分别为更新分支、模板分支和搜索分支，每个分支都有各自的特征提取网络接收分支输入端输入的图像；更新图像分支和模板图像分支将各自提取到的特征图输入到相关滤波相关操作网络；

相关滤波相关操作网络接收模板分支后的特征提取网络在模板图像上提取得到的特征图，以及更新分支后的特征提取网络在搜索图像2上提取得到的特征图，进行相关性计算并输出特征图；

图注意力相关操作网络，接收输入的搜索图像1提取得到的特征图，以及相关滤波相关操作网络进行相关性计算并输出的特征图，采用局部图注意力机制计算相关性结果，输出相关性计算的特征图；

该相关性计算的特征图最终通过类别分支、偏差分支和尺度分支这三个输出分支进行回归预测，得到搜索图像1中的目标的类别、位置和尺度；

类别分支根据特征图回归预测搜索图像1中的目标的类别，目标类别有前景和背景两种，类别是前景表明该目标是一个真目标，类别是背景表明该目标是一个假目标；

偏差分支根据特征图回归预测搜索图像1中的目标距离图像中心的偏差，依据该偏差计算得到目标在搜索图像1中的位置；

尺度分支根据特征图回归预测搜索图像1中的目标的尺度；

步骤3：设置最大迭代次数、学习率和测试频率，选择反向传播方法，使用步骤2中设计的端到端的孪生网络模型，在步骤1中制作的单目标跟踪数据集上开始训练，然后根据训练损失函数变化，得到训练好的端到端的孪生网络模型的网络参数，将端到端的孪生网络模型的网络参数和端到端的孪生网络模型移植到机动平台嵌入式上执行，得到跟踪速度，最终实现机动平台嵌入式上的实时目标跟踪，得到最终输出跟踪结果。

2.根据权利要求1所述的一种应用于机动平台的嵌入式孪生网络实时跟踪方法，其特征在于：所述步骤1中，单目标跟踪数据集包括MS COCO数据集、YOUTUBE-BB数据集、DET数据集及VID数据集四个经过详细标注的单目标跟踪数据集。

3.根据权利要求1所述的一种应用于机动平台的嵌入式孪生网络实时跟踪方法，其特征在于：所述步骤2中，特征提取网络采用改进的MobileNetV2神经网络，所述改进的MobileNetV2神经网络由蝶式变换BFT(Butterfly Transform,BFT)、3×3深度可分离卷积Depthwise Separable Convolution组成“蝶式傅里叶变换BFT-3×3卷积-蝶式傅里叶变换BFT”的倒置残差与线性瓶颈层，并通过多个倒置残差与线性瓶颈层的有效连接实现。

4.根据权利要求1所述的一种应用于机动平台的嵌入式孪生网络实时跟踪方法，其特征在于：所述使用步骤2中设计的端到端的孪生网络模型，在步骤1中制作的单目标跟踪数据集上开始训练过程为：

将“模板图像-搜索图像1和2”输入端到端的孪生网络模型，输出预测的目标的类别、偏差和尺度；

将预测的目标的类别、偏差和尺度和目标的真实类别、真实偏差和真实尺度求取误差，构建损失函数，再将误差反向传播以训练损失函数，使得误差越来越小，最后得到训练好的端到端的孪生网络模型的网络参数；

当网络训练好之后，再输入模板图像-搜索图像1和2，便直接得到接近目标的真实类别、真实偏差和真实尺度的目标类别、目标偏差和目标尺度，作为跟踪的结果输出。

5.根据权利要求1所述的一种应用于机动平台的嵌入式孪生网络实时跟踪方法，其特征在于：所述步骤3中，设置最大迭代次数10000次、学习率0.001。