[发明专利]一种MR场景中基于语义特征的定位系统与方法

权利要求书

1.一种MR场景中基于语义特征的定位系统，其特征在于：包括信息捕获单元(1)、预处理单元(2)、计算单元(3)和结果输出单元(4)，所述信息捕获单元(1)以有线或无线方式与预处理单元(2)连接；所述预处理单元(2)以有线方式与计算单元(3)连接；所述计算单元(3)以有线或无线方式与结果输出单元(4)连接。

2.根据权利要求1所述的MR场景中基于语义特征的定位系统，其特征在于：所述信息捕获单元(1)包括RGB-D相机模块(1.1)，该模块以有线或无线方式与预处理单元(2)连接。

3.根据权利要求1所述的MR场景中基于语义特征的定位系统，其特征在于：所述预处理单元(2)包括语义特征提取模块(2.1)、角点特征提取模块(2.2)、深度点云滤波模块(2.3)；其中，语义特征提取模块(2.1)以有线方式与计算单元(3)中语义对象识别模块(3.1)连接；角点特征提取模块(2.2)、深度点云滤波模块(2.3)分别以有线方式与计算单元(3)中主体位姿估计模块(3.2)连接。

4.根据权利要求1所述的MR场景中基于语义特征的定位系统，其特征在于：所述计算单元(3)包括语义对象识别模块(3.1)、主体位姿估计模块(3.2)、定位轨迹存储模块(3.3)；其中，语义对象识别模块(3.1)以有线方式与主体位姿估计模块(3.2)连接，主体位姿估计模块(3.2)以有线方式分别与定位轨迹存储模块(3.3)以及结果输出单元(4)中的定位信息输出模块(4.1)连接。

5.根据权利要求1所述的MR场景中基于语义特征的定位系统，其特征在于：所述结果输出单元(4)包括定位信息输出模块(4.1)。

6.一种MR场景中基于语义特征的定位方法，根据权利要求1所述的系统进行操作，其特征在于，包括从信息捕获、信息预处理、定位计算到定位结果输出的整个定位流程，具体如下：

1)使用信息捕获单元(1)中的RGB-D相机模块(1.1)捕获MR场景中的场景序列，包括RGB图像序列以及对应的场景深度点云数据集，并向预处理单元(2)发送数据；

2)预处理单元(2)中的语义特征提取模块(2.1)接收RGB图像序列数据，该模块利用Mask R-CNN网络对RGB图像序列进行检测，提取其中的语义特征，通过掩膜标注出其中的语义区域，并基于计算单元(3)中的语义对象识别模块(3.1)对语义特征进行识别标记，标记出MR场景中的动静态区域，用于后续的位姿估计；预处理单元(2)中的角点特征提取模块(2.2)同样接收RGB图像序列数据，采用ORB角点特征提取算法对MR场景中的角点进行提取，该角点特征在前后帧MR场景中能够被匹配到，用于后续位姿估计，并计算出移动主体在MR场景中的移动与旋转量；预处理单元(2)中的深度点云滤波模块(2.3)对场景深度点云数据集进行滤波处理，去除深度点云数据集中的干扰点，用于辅助后续位姿估计；

3)在计算单元(3)中，语义对象识别模块(3.1)输出上述RGB图像中，语义特征所在区域的动静态属性，结合预处理单元(2)中，角点特征提取模块(2.2)输出的角点特征、深度点云滤波模块(2.3)输出的深度点云序列，利用主体位姿估计模块(3.2)进行位姿估计；在主体位姿估计模块(3.2)中，会基于语义识别标记判断，提取的角点特征是否位于MR场景中的语义静态区域，若判断结果为是，则将提取的角点特征用于后续位姿估计，若判断的结果为否，则角点特征位于MR场景中的语义动态区域内，无法用于定位，丢弃该特征点；最终通过MR场景中静态区域中的角点特征集与滤波后的深度点云数据集，对移动主体位姿进行估计，计算出当前移动主体相对于上一时刻的平移量与旋转量；在计算单元(3)中，基于定位轨迹存储模块(3.3)，对每一帧的位姿信息进行存储，保存移动主体在MR场景中的历史位姿；

4)基于结果输出单元(4)中的定位信息输出模块(4.1)，在历史定位轨迹上，累加主体位姿估计模块计算出的当前位姿，输出当前移动主体在MR场景中的定位信息。