[发明专利]一种基于预训练卷积神经网络的视觉SLAM回环检测方法

权利要求书

1.一种基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，包括以下步骤：

S1、输入场景图像集合，对输入图像先进行去均值标准化处理，基于预训练卷积神经网络VGG-19的结构，在VGG-19的前向传播中对输入图像数据集进行特征提取，并构造图像特征向量集；

S2、基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型；

S3、对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签；

S4.在同一类别标签内，利用欧式距离度量对新加入图像的特征向量和其余图像的特征向量进行相似度计算，当度量值小于设定阈值时则判定与之形成回环，经过条件筛选，输出构成的真实回环图像集合；

所述步骤S1输入场景图像集合，基于预训练卷积神经网络VGG-19的结构对输入图像数据集进行特征提取，并构造图像特征向量集，具体步骤如下：

S11.对于任一单张三通道图像f_i，对图像进行去均值标准化处理，

其中，j表示图像的RGB通道，i表示图像下标，n表示图像数量，表示数据集中所有图像在通道j上的平均值；

S12.对于S11中处理过后的图像，通过Conv1到Conv5的卷积层前向传播，

a^l＝σ(z^l)＝σ(a^l-1*W^l+b^l)#(2)

ReLU(z^l)＝max(0,z^l)#(3)

其中上标l代表当前层数，a^l代表第l层的输出，*代表卷积，W代表卷积核，

b代表偏置量，σ(·)代表了使用的激活函数ReLU；

S13.在Conv1到Conv5的每个卷积层的后面分别接一个最大池化层，通过最大池化的方式进行前向传播，

S＝βdown(C)+b#(4)

其中，β和b为标量，down(C)表示对输入的矩阵C进行下采样；

S14.在预训练的VGG-19卷积神经网络末端有FC6和FC7作为全连接层，对隐藏层学到的分布式特征进行映射，使用卷积核进行全层卷积，

S15.至此，通过提取FC7层的输出结果，得到了单一图像的输出结果一个4096维的图像特征向量；

S16.为了加快图像特征的提取，对VGG-19的BATCH值做了调整，对于一次性输入的k张图像，能够在前向传播到FC7层时直接输出一个(k,4096)的特征矩阵M，作为特征向量集：

所述步骤S2基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型，具体步骤如下：

S21.对于S16中得到的图像特征矩阵，随机选取K个聚类中心；

S22.对图像特征矩阵中的特征向量，按照欧氏距离度量方式选择最近邻聚类中心进行聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)和V₂(y₁,y₂…y₄₀₉₆)的欧式距离为：

S23.对K个聚类分别计算其样本均值，计算结果作为新的K个聚类中心，再根据步骤S22重新聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)的样本均值计算为：

S24.对当前聚类结果，计算误差平方和SSE：

S25.重复步骤S23和S24，直到误差平方和SSE不再变化，输出最终聚类结果，包括类别C＝{c₁,c₂…c_k}和每一个类别下的特征向量集合C_i＝1,2…k＝{V_j}，保存当前K-means聚类模型；

所述步骤S3对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签，具体步骤如下：

S31.对于新加入的图像帧通过预训练的VGG-19卷积神经网络结构进行前向传播算法，得到FC7层的输出结果V＝(x₁,x₂…x₄₀₉₆)，作为该帧图像的特征描述向量；

S32.通过在步骤S25中保存的K-means聚类模型，对步骤S31所得到图像特征向量V进行聚类，得到其所属类别C_v；

所述步骤S4的详细步骤如下：

S41.对步骤S31中得到的V与所属类别C_v中的其余所有特征向量，逐一进行步骤S22中的欧式距离度量，得到所有大于阈值的图像集合F₁；

S42.进行条件筛选，对于步骤S41的F₁中出现的连续下标图像，则选择其中与V的欧式距离度量值最小的一个，判定为真实回环，构成新的图像集合F＝{f_i}，非连续下标图像则直接加入到集合F中，至此，输出集合F＝{f_i}为所有与新加入图像帧构成真实回环的图像集合。

2.根据权利要求1所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S16中BATCH值的调整根据具体需要构造的图像特征向量集的维度而决定。