[发明专利]一种基于多聚焦图像融合的多距离鸟类精准识别方法

权利要求书

1.一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于，包括以下步骤：

1)采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像；

2)利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对；

3)通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵；确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像；

4)对步骤3)获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合；

5)对步骤4)的输出图像利用CenterNet进行鸟类识别，其具体步骤为：

5.1)CenterNet目标识别：以物体中心点作为关键点，中心点看成一个形状未知的anchor，用来预测待识别物体矩形区域的宽和高，对图像中鸟类物体的识别；因此需要先完成关键点预测网络的训练；

标注大量的鸟类图像作为输入的训练集，x、y为标注的鸟类图像关键点坐标位置，鸟类的每个真实关键点p∈R²，R为输出对应的原图的步长，默认采用R的值为4；先计算标注关键点经过四倍下采样得到的低分辨率对应点通过全卷积网络得到关键点热力图：

C为关键点类型，本方法是对单类鸟类的检测，C设置为1；鸟类聚焦图像的大小定义为m×n；

并将输入图像的所有真实关键点通过高斯核投射到热力图上，高斯核公式为：

其中σ_p表示目标尺度自适应的标准方差，关键点训练的损失函数设置为：

其中α和β为目标函数的超参数，设置为2和4，N表示图像关键点的个数；由于输出步长的离散化损失，对每个关键点附加预测局部偏移

该局部偏移的损失函数设置为：

将输入鸟类图像通过该关键点预测网络，得到的热力图峰值坐标即对应鸟类目标的中心，在进行鸟类检测时当表示在当前坐标点(x，y)处检测到了鸟，当表示在当前坐标点处未检测到鸟；

5.2)尺度预测：(x1，y1，x2，y2)为图像中鸟类的检测框左上角点和右下角点坐标位置，则鸟类中心点位置为：

鸟类的目标大小为：

S_k＝(x2-x1，y2-y1)，

使用单个尺度预测：对该尺度预测设置的损失函数设置为：

5.3)利用常数平衡各训练函数，得到整体过程的损失函数为：

L_det＝L_k+λ_sizeL_size+λ_offL_off，

λ_size设置为0.1，λ_off设置为1；将步骤5)得到输出图形作为鸟类识别的输入图像，输入图像通过该网络，得到鸟类的中心点和预测宽高，便可得到鸟类目标的位置和图像中的尺寸大小。

2.根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述步骤1)，采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像，其具体步骤为：

设计云台载体，在云台上放置双目可见光相机，双目可见光相机包括左目相机和右目相机，放置的左目相机和右目相机的中心在同一水平线上，使得获取的左目图像和右目图像大小相等且水平对应；对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像。