[发明专利]一种无人机跟踪拍摄系统及其RGBD跟踪方法

权利要求书

1.一种无人机跟踪拍摄系统，其特征在于，包括：

存储与服务模块，用于存储图像数据与模型参数，为跟踪任务提供统一的模型训练接口，离线完成模型参数的更新与优化；

跟踪控制模块，使用目标跟踪算法实时跟踪拍摄对象，自动生成飞行控制指令，实现复杂环境下的无人机跟踪拍摄；

数据传输模块，用于完成无人机与地面控制站之间的远距离传输任务，实时回传无人机采集的RGB图像与深度图像到地面控制站，并将解析图像后生成的飞行控制指令发送到无人机；

所述跟踪控制模块包括有目标定位模块、遮挡检测模块、目标重定位模块，其中：

所述目标定位模块用于对当前拍摄帧中的目标中心进行定位，由深度学习框架构建的跟踪定位模型实现，该跟踪定位模型为存储与服务模块中离线训练的模型，对于任意跟踪任务均指定为孪生网络结构的跟踪定位模型，模型输入为上一帧画面跟踪到的RGBD目标图像与当前帧中待检测的RGBD搜索图像，模型输出的响应矩阵表示目标中心在各位置出现的概率，将概率最大的点预测为目标中心，完成目标在当前拍摄帧中的跟踪定位；

所述遮挡检测模块用于识别目标的完全遮挡状态，拍摄对象被完全遮挡时，画面中将检测不到表达目标特征的区域，由深度信息和颜色信息的两种相似性关系判断遮挡：通过辅助框进行目标深度值范围估计，辅助框的宽和高定义如下：

式中，w_a和h_a分别为辅助框的宽和高，w_p和h_p分别为预测目标框的宽和高，计算目标框中像素点占比大而辅助框中像素点占比小的深度值集合，选择最接近前一帧的值作为目标整体深度表示，若当前帧的深度值与上一帧相差高于阈值，则视为遮挡；以深度值范围建立深度图像掩膜，去掉不同深度的背景像素点，提取上一帧目标和当前帧预测目标的颜色直方图为特征向量，其相似度计算如下：

式中，Sim表示图像I_t和图像I_p的相似度，Hist_ti表示图像I_t的第i个颜色直方图柱的值，Hist_pi表示图像I_p的第i个颜色直方图柱的值，Num_t和Num_p分别表示图像I_t和图像I_p的像素点数量，n表示颜色直方图柱的数量；若相似度Sim低于阈值则视为完全遮挡，即当前帧中未跟踪到目标；

所述目标重定位模块负责在跟踪器因遮挡原因丢失目标后重新找到目标位置并恢复跟踪，遮挡分为短时遮挡与长时遮挡两种情况：对于短时遮挡，目标运动范围仍在跟踪器搜索区域内，直接由目标定位模块找到目标位置；对于长时遮挡，使用SIFT检测算法提取模板RGB图像与当前完整RGB图像中的特征点与描述符，筛选出目标深度范围内的点并匹配特征点对，深度信息的利用节省了无效特征点的计算时间，保证了跟踪所需的实时性；然后使用高斯模型找到匹配点在当前帧中最集中的区域，计算该区域内的点与原目标中心的位置关系，最后计算出当前帧的目标中心；完成目标重定位后，飞行控制系统指导无人机解决目标丢失状态下的视角偏移，使其拍摄视点与目标中心继续保持一致。