[发明专利]用于信息增益与显示的系统、方法及介质

说明书

本发明提供了一种用于信息增益与显示的系统、方法及介质，包括：传感器：用于持续获取场景信息，并将获取的信息传递给移动端计算单元；移动端计算单元：对获取的信息进行筛查、对比和计算，得到物体3D位置和姿态；数据交换单元：负责移动端和云端的数据交换，将显著性图像和时间戳从移动端上传到云端计算单元，同时将云端计算的结果下载到移动端；云端计算单元：以图像为输入，通过神经网络训练，输出特征向量，再基于检索方法得到对应的物体信息；渲染显示单元：根据物体信息、物体3D位置和姿态，将物体的信息渲染到对应的3D位置，并在显示设备上显示。本发明采用移动端视觉跟踪技术，解决了端上大规模物体的位置在时域上的关联性问题。

技术领域

本发明涉及AR场景应用技术领域，具体地，涉及一种用于信息增益与显示的系统、方法及介质。

背景技术

信息增益与显示是AR应用场景非常重要的组成部分，其底层技术之一是物体的定位、识别和跟踪。AR设备通常是可穿戴移动设备，当前的移动端的相关技术，只能进行少量类别物体的定位、识别与跟踪，且加入新的类别需要重新训练；大规模物体识别的技术，不能保证实时性与帧间的关联性，且占用计算与存储资源较多。

专利文献CN102905153B（申请号：CN201210166773.8）公开了一种立体图像显示装置及其驱动方法。根据本发明的实施方式的立体图像显示装置包括：显示板，其包括数据线和选通线；图像转换器，其基于从2D图像数据提取的深度图的深度值计算视差值，通过将各视差值乘以预定的增益值计算增益视差，通过根据各增益视差对2D图像数据进行移位生成左眼图像数据和右眼图像数据，并且根据3D格式将左眼图像数据和右眼图像数据转换为3D图像数据；数据驱动器，其将3D图像数据转换为数据电压并将数据电压施加到数据线；以及选通驱动器，其顺序地向选通线供应选通脉冲。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种用于信息增益与显示的系统、方法及介质。

根据本发明提供的用于信息增益与显示的系统，包括：

传感器：用于持续获取场景信息，并将获取的信息传递给移动端计算单元；

移动端计算单元：对获取的信息进行筛查、对比和计算，得到物体3D位置和姿态；

数据交换单元：负责移动端和云端的数据交换，将显著性图像和时间戳从移动端上传到云端计算单元，同时将云端计算的结果下载到移动端；

云端计算单元：以图像为输入，通过神经网络训练，输出特征向量，再基于检索方法得到对应的物体信息；

渲染显示单元：根据物体信息、物体3D位置和姿态，将物体的信息渲染到对应的3D位置，并在显示设备上显示。

优选的，所述传感器包括单个或多个彩色摄像机、单色摄像机、深度摄像机和雷达。

优选的，所述移动端计算单元包括：

信息预处理单元：对传感器获取的信息进行筛查，将不符合神经网络的输入要求的信息进行降噪、优化和格式化后再传递给显著性检测单元；

显著性检测单元：获取显著性物体所在区域，将该区域的图像剪切出来输出给显著性跟踪单元；

显著性跟踪单元：跟踪检测到的显著性信息，并将相同的显著性信息对应起来，若发现有显著性信息和之前的显著性信息对应不起来，则判定为未知物体，向数据交换单元发送显著性信息，并获取该物体的类别、属性和3D姿态估计方法；若显著性信息和之前对应，则将对应好的显著性信息、3D姿态估计方法、该显著性信息包含的物体类别及属性发送给3D姿态估计单元；

3D姿态估计单元：根据显著性信息和3D姿态估计方法，估计出该显著性信息包含的物体的3D位置和姿态，然后将3D姿态、物体类别及属性发送给渲染显示单元。

优选的，所述显著性跟踪单元包括：