[发明专利]一种基于深度学习的AR智能终端目标识别系统及方法

摘要

本发明公开了一种基于深度学习的AR智能终端目标识别系统，包括：深度学习图像处理单元，能获取AR智能终端相机的拍摄图像识别后输出识别结果图像；位置姿态计算单元，能根据识别结果图像确定当前相对位置、相机方向和姿态得出识别结果图像视野内的兴趣点；空间数据查询单元将查询到的空间信息和属性信息关联至识别结果图像；增强现实信息单元，通过坐标转换将所述识别结果图像转换为三维图像后，添加对应信息至所述三维图像后显示为虚拟物体信息用于人机交互。该系统及方法识别准确性高，不依赖于预先的标记设置，灵活性更好。

主权项

1.一种基于深度学习的AR智能终端目标识别系统，其特征在于，包括：深度学习图像处理单元、位置姿态计算单元、空间数据查询单元和增强现实信息单元；其中，所述深度学习图像处理单元，能获取AR智能终端相机的拍摄图像，将所述拍摄图像转换为识别用图像，通过深度学习模型对所述识别用图像用深度学习方式识别后，输出识别结果图像；所述位置姿态计算单元，与所述深度学习图像处理单元通信连接，能根据所述深度学习图像处理单元输出的识别结果图像，获取所述AR智能终端的GPS信息确定所述识别结果图像视野内地理目标与所述AR智能终端的当前相对位置，以及获取所述AR智能终端的传感器信息确定相机方向和姿态，并根据确定的当前相对位置、相机方向和姿态确定所述识别结果图像视野内的兴趣点；所述空间数据查询单元，与所述位置姿态计算单元通信连接，能根据所述位置姿态计算单元确定的所述识别结果图像视野内的兴趣点，并将查询到兴趣点的空间信息和属性信息关联至所述识别结果图像；所述增强现实信息单元，分别与所述深度学习图像处理单元、位置姿态计算单元和空间数据查询单元通信连接，通过所述深度学习图像处理单元输出的识别结果图像，与获取到的所述AR智能终端的GPS信息确定所述识别结果图像中被识别目标与所述AR智能终端的当前相对位置，同时通过所述AR智能终端实时计算出的相机内部参数，结合在世界坐标系中的外部参数设定虚拟相机，通过所述位置姿态计算单元获取所述的AR智能终端的姿态信息，并对所述虚拟相机的姿态进行标定，通过所述虚拟相机对三维虚拟场景进行变换，将变换后三维虚拟场景的影像叠加到实际场景的影像中进行虚实融合，通过光学投影显示所述虚实融合后的图像；以及将所述空间数据查询单元查询到的三维虚拟场景的空间信息和属性信息，渲染到真实世界的兴趣点上，进行增强现实显示。