[发明专利]一种基于语义特征的SLAM回环检测方法

权利要求书

1.一种基于语义特征的SLAM回环检测方法，其特征在于：包括以下步骤：

步骤1，机器人在运动过程中，通过RGB-D相机获取室内环境的图像，将拍摄的图像加入到图像数据库；

步骤2，将相机采集的当前图像输入YOLOv4目标检测网络模型，以获取所述图像的语义信息，对获取语义信息进行处理得到当前图像的语义特征向量；

步骤3，基于当前图像的语义特征向量，计算当前图像与历史图像的相似度,基于该相似度，从历史图像中选择最接近的前K个帧，作为回环候选帧；

步骤4，对当前图像和K个回环候选帧进行几何一致性检验，将满足几何一致性的当前图像作为真正的回环；

步骤5，将真正的回环加入到历史图像中，通过RGB-D相机获取新的图像，进行下一轮的回环检测过程。

2.根据权利要求1所述的一种基于语义特征的SLAM回环检测方法，其特征在于：所述步骤2中，将相机采集的当前图像输入YOLOv4目标检测网络模型，以获取所述图像的语义信息，具体包括以下步骤：

步骤2-1，将图像输入到YOLOv4目标检测网络模型，在将图像输入到YOLOv4目标检测网络之前，先将其调整到416×416的尺寸；

步骤2-2，将图像输入YOLOv4目标检测网络进行语义信息提取，YOLOv4目标检测网络模型首先将图像划分为S×S个网格，每个网格产生B个候选框anchor box，每个候选框会经过网络最终得到相应的边界框，检测时使用Soft NMS和Diou NMS相结合的非极大值抑制方法剔除不必要的目标框，得到图像的语义信息；

步骤2-3，YOLOv4目标检测网络模型由BackBone、Neck和head三部分组成，BackBone部分是CSPDarknet53用于提取初步特征，Neck部分是SPP和PAN用于提取增强后的特征，head部分是基于YOLOv3用于得到预期的结果，其中，CSPDarknet53是在Darknet53的每个大残差块上加上CSP，对应layer 0～layer 104；SPP网络用在YOLOv4中增加网络的感受野，对layer 107进行5×5、9×9、13×13的最大池化，分别得到layer 108，layer 110和layer112，完成池化后，将layer 107，layer 108，layer 110和layer 112进行连接，连接成一个特征图layer 114并通过1×1降维到512个通道；PANet是在UpSample之后又加了DownSample的操作，PANet上采样对应的layer为layer105到layer128，通过YOLOv4网络模型的图像获得到带有系列边界框的目标检测结果；

步骤2-4，YOLOv4目标检测网络的损失函数L(object)的计算公式是：

L(object)＝λ_iouL_loc+λ_clsL_con+λ_claL_cla

其中，L_loc表示定位损失，L_con表示置信度损失，L_cla表示分类损失，λ_iou,λ_cls,λ_cla是平衡系数；

定位损失L_loc的计算公式是：

其中，参数表示第i个网格的第j个anchor box是否负责这个object，如果负责那么否则为0；

其中，ρ²(A_ctr,B_ctr)分别代表了预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，αv为对长宽比的惩罚项，α是一个正数，v用来测量长宽比的一致性，惩罚项是控制预测框的宽高快速地与真实框的宽高接近；

α和v的公式如下：

其中，w^gt和h^gt为真实框的宽、高，w和h为预测框的宽、高；

因为，L_ciou＝1-CIOU，故可以得到L_ciou为：

上式中A是预测框，B是真实框，IoU为交并比函数，计算两个边界框交集和并集之比，IoU公式如下：

置信度损失L_con的计算公式是：

其中，C_i为预测值，表示预测目标矩形框i内是否存在目标的Sigmoid概率；P_i∈{0,1}表示预测目标矩形框i中是否真实存在目标，0表示不存在，1表示存在；

分类损失L_cla的计算公式是：

其中，positive为正样本集，classes为所包含的物体类别；p_ij∈{0,1}表示预测目标矩形框i中是否真实存在第j类目标，0表示不存在，1表示存在；c_ij为预测值，表示预测目标矩形框i内存在第j类目标的Sigmoid概率；

步骤2-5，根据YOLOv4提取的语义信息，根据实际空间大小对目标检测到的类的标签进行排序，拒绝置信度小于0.5的检测标记，得到每幅图像的类别特征，结果用向量表示，类别特征向量如下所示：

c＝(c₁,c₂,c₃,…c_N)#

其中,c表示类别特征向量，l_i表示类别标签，k表示类别数量，N为字典库中物体类别总数；

根据类别特征向量构建语义特征向量，所述语义特征向量公式如下：

ε_i＝[c_ip_ix_1iy_1ix_2iy_2i] i＝1,2,3,…,N

S＝[ε₁ε₂…ε_N]

其中，ε_i表示种类i在图像中出现,c_i表示种类i在图像中出现的次数，p_i表示种类i出现的概率,(x_1i,y_1i)和(x_2i,y_2i)分别表示边界框的左上角和右下角坐标。