[发明专利]一种分布式多相机球形无人系统目标检测方法

权利要求书

1.一种分布式多相机球形无人系统目标检测方法，其特征在于，所述无人系统由多个四旋翼无人机构成，所述多个四旋翼无人机拼合成为球形无人系统；所述无人机上安装有单目摄像头，在拼合成球形状态时，无人系统为携带有多个摄像头的刚体；包括以下步骤：

第一步，针对多相机无人系统设计分布式相机网络拓扑结构，使各相机分别将拍摄到的场景图像进行独立的特征提取处理；

第二步，利用多相机数据融合算法，对多个相机提供的图像数据进行特征层面的图像融合处理，使其融合成为一幅完备的图像；

第三步，建立基于深度学习的目标检测算法，对神经网络模型进行压缩处理，利用压缩后的神经网络模型对第二步得到的融合图像进行目标检测处理，完成目标检测任务。

2.根据权利要求1所述的分布式多相机球形无人系统目标检测方法，其特征在于，所述第一步，所述分布式相机网络拓扑结构具体为：对每个相机节点配置处理器作为球形无人系统的相机节点的处理单元，利用ROS中的话题-订阅机制来实现任意多个相机节点的数据通信，每个相机节点独立运行，将拍摄到的场景图像进行独立的特征提取处理。

3.根据权利要求1所述的分布式多相机球形无人系统目标检测方法，其特征在于，所述第二步，所述多相机数据融合算法具体为：

(1)获取多个相机提供的多视角图像的目标图像特征点；

(2)将特征点描述子传送至中央处理单元，对输入的多视角图像做特征匹配，使匹配后的多视角图像融合成一幅完备的图像。

4.根据权利要求3所述的分布式多相机球形无人系统目标检测方法，其特征在于，在多视角图像融合时引入改进的加权平滑算法，即：

用f(x,y)表示重叠区域融合后的图像，由2幅待融合图像f_L和f_R加权平均得到，即：

f(x,y)＝α×f_L(x,y)+(1-α)f_R(x,y)

其中α是可调因子，0＜α＜1，即在图像交叉区域中，沿视角1图像向视角2图像的方向，α由1渐变为0，实现交叉区域的平滑融合；为了给2幅图像建立更大的相关性，使用下式进行融合处理：

令则其中d₁、d₂分别表示交叉区域中的点到2个不同视角图像交叉区域的左边界和右边界的距离。

5.根据权利要求1所述的分布式多相机球形无人系统目标检测方法，其特征在于，所述第三步，对神经网络模型进行压缩处理具体为：

(1)制作训练所用的目标数据集，利用数据集进行基础训练；

(2)设置学习率，对网络进行稀疏化训练，网络中许多缩放因子会趋近于零；

(3)进行网络剪枝，对缩放因子进行排序，剪掉值较小的缩放因子对应的通道；

(4)进行知识蒸馏，使用教师网络指导剪枝后的学生网络进行训练，得到压缩后更加紧凑的神经网络模型。

6.根据权利要求5所述的分布式多相机球形无人系统目标检测方法，其特征在于，在知识蒸馏之后，重新进行稀疏化训练、网络剪枝、知识蒸馏步骤，对模型进行多次压缩。

7.根据权利要求5所述的分布式多相机球形无人系统目标检测方法，其特征在于，所述网络剪枝具体为：

(1)引入缩放因子，将其乘以通道的输出，计算与所有滤波器相关的新引入的梯度项；

(2)将网络权值和缩放因子联合训练，对缩放因子稀疏正则化；

(3)用一个小因子对通道进行微调，使同一通道的输入或输出端的所有权重在训练时同时趋于零值，以切断与通道相关的所有输入和输出连接，实现通道细化；

(4)对近似为0的缩放因子剪裁通道，并移除其所有连接和相应的权重，得到剪枝后的网络模型。

8.根据权利要求5所述的分布式多相机球形无人系统目标检测方法，其特征在于，所述知识蒸馏具体为：

(1)训练大模型；

(2)将训练目标从传统的真值标签更新为软目标，将大模型的训练知识转移到小模型上，得到压缩后更加紧凑的神经网络模型。