[发明专利]图像处理方法、装置、可读存储介质与增强现实系统

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取设备的位姿信息，以及，获取视频流数据；其中，所述位姿信息包括位置信息和设备姿态信息；

根据所述位置信息，获取预设范围内的地图数据；

根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述地图数据和所述视频流数据，对所述位姿信息进行优化，包括：

提取所述地图数据中的地图要素；以及，提取所述视频流数据中的图像要素；

结合图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系；

基于所述映射关系，对所述位姿信息进行优化，得到所述优化后的位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系，包括：

利用所述标定参数，将所述地图要素转换为二维地图要素；

利用特征匹配算法处理所述二维地图要素与所述图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

4.根据权利要求2所述的方法，其特征在于，所述结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系，包括：

利用所述标定参数，将所述图像要素转换为三维图像要素；

利用特征匹配算法处理所述地图要素与所述三维图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

5.根据权利要求1所述的方法，其特征在于，根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像，包括：

根据所述优化后的位姿信息，将所述待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型；

对所述目标三维模型，得到所述虚拟图层；

叠加所述虚拟图层与视频流数据，得到所述显示图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述优化后的位姿信息，将所述待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型，包括：

将所述待显示三维模型转换至所述三维虚拟空间坐标系中，得到候选三维模型；

根据所述优化后的位姿信息与图像采集传感器的标定参数，计算当前视野中的视锥体；

利用所述视锥体对所述候选三维模型进行处理，得到所述目标三维模型。

7.根据权利要求5所述的方法，其特征在于，对所述目标三维模型与所述显示对象进行渲染，得到所述虚拟图层，包括：

将所述优化后的所述位姿信息作为三维相机的位姿，将图像采集传感器的标定参数作为投影参数，对所述目标三维模型进行渲染，得到所述虚拟图层。

8.一种图像处理装置，其特征在于，包括：

接收模块，用于接收定位传感器获取设备获取到的位置信息，以及，用于接收姿态获取传感器获取到的设备姿态信息，得到位姿信息；以及，用于接收图像采集传感器采集到的视频流数据；

定位模块，用于根据所述位置信息，获取预设范围内的地图数据；

优化模块，用于根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

渲染模块，用于根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

9.根据权利要求8所述的装置，其特征在于，所述优化模块，具体用于：

提取所述地图数据中的地图要素；以及，提取所述视频流数据中的图像要素；

结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系；

基于所述映射关系，对所述位姿信息进行优化，得到所述优化后的位姿信息。