[发明专利]一种基于神经网络技术的视觉语义SLAM系统及方法

说明书

本发明公开了一种基于神经网络技术的视觉语义SLAM系统及方法，从输入的图像中进行关键帧的筛选，生成关键帧队列；同时使用目标追踪获得目标的匹配信息；对生成的关键帧继续进行目标检测位姿估计和状态估计，依次获取关键帧进行语义分析，进行前景背景的分离，并用于进行局部建图；依次获取每一帧进行图像表述，产生场景描述索引库，在此基础上进行后端优化，利用场景描述索引库和局部地图建立新的全局地图并进行回环检测，对地图进行持续的优化和更新信息。本发明所设计的系统及方法可以提升SLAM优化性能，并增强对环境语义的理解和描述，建立更有利于理解和实用的地图，且具有更好的鲁棒性和扩展能力。

技术领域

本发明属于计算机视觉中的同步定位与建图领域和图像语义领域，具体涉及一种基于神经网络技术的视觉语义SLAM(Simultaneous Localization and Mapping)系统及方法。

背景技术

同步定位与地图构建技术，是近几年比较热门的研究领域，该技术能有效解决机器人在未知环境中定位自身，同时感知周围环境这两个主要问题。目前视觉SLAM经过几十年的发展，已经形成了一套相对传统的成熟框架，如Mur-Artal等人于2015年提出ORB-SLAM(A Versatile and Accurate Monocular SLAM System.IEEE Transactions onRobotics，vol.31，no.5，pp.1147-1163)，ORB-SLAM系统中所采用的特征点方法对纹理场景要求较高，建立的空间稀疏点地图包含的信息有限，只有一些低级信息和相对误差的距离，采用的基于图像的词袋库，进行存储和回环检测时，对存储空间和运行速度有一定的限制。

传统SLAM技术仅包含一些低级信息，无法满足现代计算机视觉的发展，随着人工智能概念的兴起，在图像领域掀起了一股技术热潮，利用神经网络技术实现图像分类，检测，分割等领域都已经在图像的理解等方面胜过传统的图像处理，在自动驾驶、机器人、无人机、医疗等行业都已经初步展现出巨大的优势。

针对神经网络技术在语义理解辅助视觉SLAM系统的方案，当前仍然存在一些问题，如公告号为CN107833236A(“一种动态环境下结合语义的视觉定位系统和方法”)的发明专利申请，使用修改过的SSD物体检测网络，进行目标检测结合先验信息剔除动态物体，其SLAM系统仅使用了小型的物体检测网络，与目前优秀的算法仍有一定的距离，另外其对神经网络进行的语义信息未加以利用；又如公告号为CN109559320A(“基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法及系统”)的发明专利申请，其使用基于改进空洞卷积的GoogLeNet神经网络实现对图像的像素级语义分割，结合RGB-D相机的点云信息进行语义建图，实现视觉SLAM语义建图系统。其创新点在于使用空洞卷积进行语义像素级分割，系统语义信息丰富，但系统仅使用其像素的信息直接在点云中进行语义建图而没进一步使用，语义信息未充分利用，且技术使用单一。

现有的SLAM技术语义信息相对缺乏且使用单一，纯视觉SLAM在现实应用中受到环境的限制，需要额外的传感器进行技术融合，比如蓝牙，陀螺仪，红外等设备，形成一个复杂的技术融合SLAM系统。随着GPU设备的算力和算法开发的与时俱进，为复杂神经网络系统落地提供了落地条件，随着神经网络技术在图像领域应用越来越广泛，对场景的语义信息理解越来越抽象，但目前，仍然没有产生一款完善的、通用的、鲁棒的SLAM系统。

发明内容

为了解决现有技术中的不足，本发明提出了一种基于神经网络技术的视觉语义SLAM系统及方法，

本发明所采用的技术方案如下：

一种基于神经网络技术的视觉语义SLAM系统，包括目标追踪模块、关键帧筛选模块、运动位姿估计模块、语义分析模块、地图建图模块、场景表述模块和后端优化模块；

所述目标追踪模块接受图片信息，对输入图像序列中的特征进行追踪，产生特征关联匹配信息和特征位置信息；所述目标追踪模块的特征关联匹配信息和特征位置信息输入运动位姿估计模块；