[发明专利]一种基于语义分割的内腔视觉SLAM方法

说明书

本发明涉及一种基于语义分割的内腔视觉SLAM方法，包括以下步骤：(1)通过内窥镜获取内腔环境图像序列，对图像数据逐帧提取特征点；(2)针对第一步获取的内腔图像，利用卷积神经网络进行二值语义分割，获取手术工具掩码信息；(3)结合初步提取的特征点与分割结果，将手术工具上的动态特征点剔除；(4)根据处理得到的可靠静态特征点估计内窥位姿以及完成内腔环境的三维建图。本发明能够解决内腔场景下执行SLAM系统时，移动的手术工具使系统鲁棒性降低，以及产生位姿估计误差和错误建图等问题。

技术领域：

本发明涉及计算机视觉技术领域，具体涉及一种基于语义分割剔除动态特征点的内腔视觉SLAM方法。

背景技术：

同步定位与建图(SLAM,simultaneous localization and mapping)是为了解决机器人在未知环境下的定位以及构建地图的问题，是自主机器人或增强现实等应用的基础模块和先决条件。视觉SLAM即通过摄像机作为传感器输入数据，完成对自身定位和周围环境的建图任务。根据执行数据关联的方式，主要可分为特征法和直接法。特征法利用一组匹配的特征点沿共视图像估计三维几何形状，直接法不提取图像特征，直接利用像素强度估计三维形状。

随着对微创外科手术和医疗机器人的日益关注，微创手术导航系统逐渐和计算机视觉技术相结合，使用视觉SLAM算法仅通过内窥镜图像序列对病灶区域进行立体定位及三维重建，能够解决传统微创手术中视觉反馈相对不完整或较差的局限性。传统特征法视觉SLAM算法通常假定所观察物体是静止的，然而在内腔场景下，画面可能出现移动的手术工具，来自移动对象的特征点会带来错误的匹配，造成摄像机位姿估计出现偏差，建图不准确，甚至导致SLAM追踪丢失，降低整体系统的鲁棒性。近年来，利用深度学习的图像语义分割和目标检测算法在效率和准确性上都获得了极大的发展，因此在特征法视觉SLAM中通过结合卷积神经网络对移动物体进行识别和分割，屏蔽相应的图像区域以避免其中的特征匹配可以提高SLAM系统的鲁棒性，获得更准确的重建结果。

发明内容：

本发明的目的是提供一种基于语义分割的内腔视觉SLAM方法，这种方法能够分割内腔环境中内窥镜图像中出现的手术工具，从而剔除手术工具上的动态特征点，用背景区域的静态特征点构建准确度更高的地图。

为解决上述技术问题，本发明提供一种基于语义分割的内腔视觉SLAM方法，包括：

步骤1：通过单目内窥镜对内腔环境进行拍摄，采集内腔图像序列后传入SLAM系统对其逐帧进行特征提取和描述符匹配；

步骤2：利用卷积神经网络对图像数据进行语义分割，检测分割出图像中出现的动态手术工具，并计算得到其对应的二值掩码；

步骤3：根据提取到的特征点和经过分割网络得到的二值掩码结果，检查初步提取的特征点序列，如果预选特征点处在掩码范围内，则将其剔除，以排除在动态的手术工具上检测到的错误特征点；

步骤4：利用其它背景区域的静态特征点继续进行跟踪处理，用于执行后续的位姿估计和构建环境地图，实现面向内腔场景的动态视觉SLAM方法。

优选地，所述步骤1中采用特征法ORB-SLAM2作为全局SLAM算法，当内窥镜摄像机采集到内腔的RGB图像后将其传递给SLAM系统，通过SLAM系统跟踪线程中的ORB特征提取算法，对每一帧图像进行ORB特征点的提取与匹配，在所述ORB算法中图像金字塔划分为8层，每层图像划分为30×30的栅格，在每个栅格中提取角点，可使得提取的特征点均匀分布，最终得到预选特征点序列。