[发明专利]一种MR场景中基于语义特征的定位系统与方法

说明书

本发明涉及一种面向MR场景基于语义特征的定位系统与方法。其系统由信息捕获单元、预处理单元、计算单元和结果输出单元组成；其方法包括从信息捕获、信息预处理、定位计算到定位结果输出的整个定位流程。采用本发明，将使移动主体对MR场景中的高动态环境，具备较好的定位性能。本发明具备应用场景灵活，所需设备成本可控等优点。

技术领域

本发明涉及了一种基于语义特征的定位系统与方法，特别是一种面向MR场景基于语义特征的定位系统与方法。

背景技术

定位系统是信息化社会中重要的基础设施，在无人驾驶、增强现实、机器人、高精地图以及国防等领域具有极其重大的发展意义。21世纪以来，定位系统已然成为我国信息化社会发展过程中亟需突破的重点。而面向MR场景的定位系统，对于构建一个稳定、高精度的MR应用具有决定性作用，可以助力MR场景中用户感受到更加细腻且低延时的虚实融合世界。

到目前为止，定位技术已经得到了长足的发展，但是面对类似MR这种复杂场景，实现高精度、低延时的定位系统仍然具有较大的挑战。主要原因在于，MR场景中具有较多的移动物体，而传统的定位技术在静态刚性环境中较为稳定，但是在运动环境中容易受到影响，使得本体的移动轨迹跟踪锚点丢失。并且，由于MR场景并不是一个固定的空间场景，而是假定在任意非先验的场景中进行自主定位，因此，依靠环境标记、红外设备等先验信息进行定位的手段在MR场景中不适用。在MR场景中，更多地需要依靠移动主体本身携带的传感器对环境信息进行捕捉，并判断出自身位于环境中的位置以及运动轨迹。针对以上MR场景中具有的限定条件，传统的定位系统与技术并不能很好地应用。

为解决以上问题，实现MR场景的有效定位，本发明依托MR场景中的语义信息，实现MR场景中的语义感知，提出一种MR场景中基于语义特征的定位系统与方法。本发明提出的定位系统在输入端通过信息捕获单元中的RGB-D相机模块，捕获MR场景中的视觉以及深度信息；通过预处理单元对捕获的场景序列进行预处理，包括语义特征提取模块、角点特征提取模块、深度点云滤波模块；对预处理的信息通过计算单元进行计算，包括语义对象识别模块、主体位姿估计模块以及定位轨迹存储模块；最后通过结果输出单元中的定位信息输出模块，输出移动主体在MR场景中的定位信息。使用本发明所述定位系统以及定位方法，可以实现移动主体在MR场景下的高精度与低时延的自主定位。

发明内容

本发明的目的在于，针对MR场景下移动主体自主定位系统的局限性，提出一种基于语义特征的定位系统与方法。本发明所述系统涉及硬件模块简单，传感器仅为RGB-D相机一项，且无需设备对所处环境进行先验信息捕获，硬件成本较低，所述方法性能表现优异，对MR场景中移动主体的定位具有较好的应用性。

为达上述目的，本发明采用下述技术方案：

一种MR场景中基于语义特征的定位系统与方法，通过分析RGB图像序列，提取MR场景中的语义特征，从而使定位系统对场景中捕获的信息，具有语义分析能力。基于该语义分析能力，定位系统能够区分用于定位的角点特征的动静态属性，继而去除MR场景动态区域中，角点特征对于定位性能的影响，实现MR场景中高性能的定位能力。其系统主要由信息捕获单元、预处理单元、计算单元和结果输出单元组成，所述信息捕获单元以有线(或无线)方式与预处理单元连接；所述预处理单元以有线方式与计算单元连接；所述计算单元以有线(或无线)方式与结果输出单元连接。

上述信息捕获单元的结构：由RGB-D相机模块构成，该模块输出RGB图像序列与对应的深度图序列，RGB图像序列输入预处理单元中的语义特征提取模块、角点特征提取模块，深度图序列输入预处理单元中的深度点云滤波模块。

上述预处理单元的结构：由语义特征提取模块、角点特征提取模块、深度点云滤波模块构成。其中，语义特征提取模块接收RGB图像序列，与计算单元中的语义对象识别模块以有线方式连接；角点特征提取模块接收RGB图像序列，与计算单元中主体位姿估计模块以有线方式连接；深度点云滤波模块接收深度图序列，与计算单元中主体位姿估计模块以有线方式连接。