[发明专利]一种旋翼作业飞行机器人目标跟踪方法及系统

权利要求书

1.一种旋翼作业飞行机器人目标跟踪方法，其特征在于，所述旋翼作业飞行机器人目标跟踪方法包括：

步骤一，使用pytorch框架在ILSVRC2015、Lasot、Coco、GOT-10k数据集上对跟踪网络进行训练；

步骤二，通过旋翼作业飞行机器人搭载的深度相机实时获取图像信息，首先选取旋翼作业飞行机器人待跟踪的目标作为跟踪算法的初始化目标，得到初始目标框的位置信息；

步骤三，Siamiou网络在第一帧中对初始目标框区域通过Resnet50提取目标的特征信息，对模板网络的参数进行初始化；所述Siamiou网络为目标跟踪算法网络；

步骤四，在后续帧中，对目标的搜索区域提取深度特征，并与模板网络进行卷积匹配，得到两条分支，目标判别分类分支与目标尺度估计分支；将目标判别分类分支的输出作为目标尺度估计分支的输入，最后得到目标的最优位置与尺度估计；

步骤五，通过跟踪算法获取的目标在图像中的二维坐标，并根据相应的深度信息，解算出目标的三维坐标，将其发送给旋翼作业飞行机器人，通过PID控制调节旋翼作业飞行机器人的速度，实现对目标的跟踪。

2.如权利要求1所述的旋翼作业飞行机器人目标跟踪方法，其特征在于，步骤一中，所述跟踪网络的训练方法如下：

(1)数据集的预处理：将每个数据集视频序列中的图像以目标为中心，以一定的比例裁剪成511×511的大小，如果裁剪区域超出了原图，则用像素的平均值进行填充；对网络进行训练时，在ILSVRC2015、Lasot、Coco、GOT-10k数据集中每次以相同的概率随机选取一个数据集，并在数据集中随机选取一个视频帧中相隔一定距离的图像对，Coco数据集选取一对相同的图片作为数据扩充，采用平移、缩放、翻转、模糊数据增强手段对图像对进行处理，最后将图像对输入到网络进行训练；

(2)构建网络的损失函数：网络的输出包含两条分支，其中目标判别分类分支得到一个h×w的特征图表示目标在相应位置的得分置信度，目标尺度估计分支输出得到目标预测边界框框与目标真实边界框的IOU，所述h×w为17×17。

3.如权利要求2所述的旋翼作业飞行机器人目标跟踪方法，其特征在于，所述网络的输出具体包括：

1)对于目标判别分类分支，引入一个偏移量t＝(t_x，t_y)，表示目标相对于输出特征图中心点的偏移量，其值等于(T_x/s，T_y/s)，其中T_x，T_y表示数据增强时目标的平移量，s表示网络的总步长，总步长为8；将以目标偏移点为中心，半径为16区域的点视为正样本，其余的点都为负样本，则目标判别分类分支的标签y_score表示为：

其中，u∈R^h×w表示标签y_score相应点的坐标；

目标判别分类分支的输出score，表示为score＝g(c_res(S₁，S₂，S₃))；其中，S1，S2，S3表示Resnet50分别在layer2、layer3、layer4层所提取的特征，c_res表示残差融合模块，g表示得分预测模块；采用logistics loss作为目标判别分类分支的损失函数，在输出特征图的每个坐标位置求损失并取平均值作为该分支的总损失，表达式为：

l(y_score，score)＝log(1+exp(-y_scorescore))；

2)对于目标尺度估计分支，将目标边界框的groundtruth加入一个高斯噪声，生成16个不同的边界框，并保证每个边界框与groundtruth的IOU大于0.1，将这16个边界框映射到Resnet50在目标尺度估计分支所提取到的特征I＝(I₁，I₂，I₃)上，采用Prpool对这些区域提取特征。