[发明专利]一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法

说明书

一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法，包括如下步骤：对每帧输入图像进行基础网络的稠密特征提取，利用池化方式生成二通道描述符。然后利用全连接层与激活函数的结构生成新的通道权重，并与原始输入的卷积特征进行重新尺度化操作，生成过滤特征。随后针对过滤后的特征图，建立完全图模型，通过信息生成网络输出每个节点的影响力信息，并以非线性组合的方式，实现节点特征的更新。最后通过子认证网络，促使同一地点的图像特征映射至相同的特征空间，并利用余弦距离计算优化特征间的相似度，实现视觉场景识别。极大地提升了机器人在大尺度场景下的视觉定位准确性，有助于开展更智能化的视觉导航等工作。

技术领域

本发明涉及计算机视觉及机器人领域，具体涉及一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法。

背景技术

基于视觉的场景识别方法是利用图像特征在最新一帧图像和之前看到过的图像中寻找相关性，判断是否已处于之前访问过的环境区域，从而形成闭环检测并进行地图优化。不同于基于传统特征的场景识别方法仅能处理常见的场景，基于深度卷积特征的提取方法能够保留图像的不变信息，以应对复杂的环境变化。《IEEE Transactions onRobotics,2012,28(5):1188-1197.》采用词袋模型针对图像序列实现了快速的场景识别，但是其算法中所采用的特征提取方式仅基于常见的场景，一旦环境发生显著变化，图像特征也随之变化从而导致场景识别算法失效。《IEEE/RSJ international conference onintelligent robots and systems(IROS),4297-4304,2015》利用深度卷积神经网络提取的图像特征，并在场景识别的准确率上实现了显著的提升，但是所提出的方法过于关注网络架构的设计，而忽略了不同滤波器对特征信息的编码，导致卷积特征信息冗余，不足以对场景进行表示。《IEEE International Conference on Robotics and Automation(ICRA),3223-3230,2017》将场景识别看作分类问题并通过度量学习的方式，使卷积神经网络学习到如何对图片相似程度进行判断。但是该方法仅考虑了图像对之间的信息，而忽略了大量数据之间的互相关联。因此，视觉场景识别方法的关键问题在于，针对外观变化情形下的网络训练、基于特征图过滤的特征提取和用于传播关联信息的图注意力模型。

发明内容

针对以往场景识别方法在外观变化情形、特征冗余、图像关联性利用的不足，本发明提出了一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法。首先利用原始卷积特征层的权重差异性，以学习的方式通过端对端的网络训练进行卷积特征的权重重新标定，并利用三元损失函数进行约束。然后通过图注意力网络模型进行节点间的互信息传播，采用子认证网络迫使相同地点图像的特征映射至特征空间同一点。最后通过反馈损失函数的约束来避免测试过程中图模型的时间损耗，采用优化后的特征进行图像间的相似度计算，实现视觉场景识别。该方法能够抑制针对外观变化情形不鲁棒的图像特征，从而保证生成的图像特征能够应对复杂的环境变化，提升机器人的场景重识别能力，以服务于导航、定位等应用场景。

本发明的技术方案是这样实现的：

基于可学习的特征图过滤与图注意力网络的视觉场景识别方法，包括如下步骤：

步骤一，对每帧输入图像进行基础网络的稠密特征提取，利用池化方式生成二通道描述符。

步骤二，利用全连接层与激活函数的结构生成新的通道权重，并与原始输入的卷积特征进行重新尺度化操作，生成过滤特征。

步骤三，针对过滤后的特征图，建立完全图模型，通过信息生成网络输出每个节点的影响力信息，并以非线性组合的方式，实现节点特征的更新。

步骤四，通过子认证网络，促使同一地点的图像特征映射至相同的特征空间，并利用余弦距离计算优化特征间的相似度，实现视觉场景识别。

进一步地，步骤一：利用池化方式生成二通道描述符。