[发明专利]基于深度学习的Android手机端侧AR交互系统

说明书

本发明公开了基于深度学习的Android手机端侧AR交互系统，包括一部带有摄像头的手机，手机摄像头采集原始彩色图像数据，通过对相机API的调用，实时处理图像流，并利用Pytorch Mobile深度学习框架训练高效的、鲁棒的轻量化深度估计神经网络模型，在手机端侧利用手机的有限算力，运行神经网络推理，生成与原始图像数据对应的预测深度图。结合原始图像和预测的深度图，利用ARCore Depth Lab的AR交互功能和Unity开发示例实现不依赖于Depth API的Android手机端侧AR交互系统。

技术领域

本发明涉及三维场景感知领域，具体为基于深度学习的Android手机端侧AR交互系统。

背景技术

近年来，随着深度学习和神经网络技术的迅速发展，计算机视觉领域的相关应用得到了突飞猛进的进展。与此同时，人们对于视觉相关手机应用的娱乐化需求也越来越高。人们不再满足于与简单的二维图像中的场景进行互动，开始希望可以与立体的三维场景进行更深层次的交互。在实现与三维场景交互的过程中，深度估计作为三维感知的关键一环，起到至关重要的作用。传统的相机设备在拍摄图像和视频时，只能获得有限的2D图像信息，缺失了真实三维世界中的深度信息，而采用雷达、RGBD相机等测距设备又存在着成本高昂、体积较大等缺点。除此之外，目前精度较高的单目深度估计算法普遍依赖于高性能的算力环境，在非理想的实验环境下难以取得较好的深度估计效果，不能够良好的部署到移动端，暴露出了其推广应用的局限性。因此，一个不依赖于高性能算力环境和测距设备并可以直接部署到移动端上来实现实时3D场景交互功能的交互系统将会有很大的应用前景。

现有的二维视频特效技术如Tik Tok等短视频编辑器上的特效技术对视频二次创作的效果存在着一定的局限性。例如，当用户欲对视频进行特定场景的特效加持(如下雪)时，传统的二维视频技术只能将静态的二维图片与人物拼接在一起，这对于视频的效果是生硬且不利的。本发明可以根据深度估计的结果直接构造3D场景，并加入模拟的特效，可以更好的体现视频中环境的深度层次变化，使得视频更真实、生动和形象，提高视频的观影感受。

本发明就是为了在手机端的有限算力条件下，利用轻量化的单目深度估计网络，在手机端侧的AR场景中实时计算场景深度，最大程度还原真实场景。在此基础上，利用Unity等渲染引擎制作特效，本发明可实现真实环境下通过设置虚拟物体来达成人与环境的交互效果。

发明内容

本发明的目的在于运用更成熟的算法训练模型能从简单的2D视频输入中得到更加准确的深度信息，解决单目相机系统下的深度估计问题，并欲解决传统方法下单目深度估计在精度和效率上的缺陷，提出鲁棒性好、精度高、效率快的轻量化单目深度估计网络，突破目前高精度单目深度估计算法对于高性能的算例环境的依赖，并着眼于实际应用，探索该方法应用在手机端侧AR、VR场景中的可能性。除满足娱乐需求外，在未来的自动驾驶、智能医疗、军事作战中都有广泛应用前景。

为实现上述目的，本发明提供如下技术方案：从获取的单目图像中实时估计稠密深度图，利用深度学习模型计算得到图像中每个像素点的深度信息，最后基于该深度信息的辅助，利用Unity软件制作三维特效以实现虚拟物体在精确位置的生成和人机交互，以面向AR/VR的实际应用场景。本发明通过安卓开发，结合Pytorch mobile框架，将算法部署到手机移动端侧，实现在手机端侧的实时交互。

具体来说：

a)获取训练/测试数据：采用开源数据集例如NYU-Depth V2进行大规模网络训练，采用Kinect DK相机在室内拍摄视频，并自动生成深度图作为监督信息，利用单目相机所拍摄视频作为输入测试样例；

b)设计单目深度估计算法：采用AR Core框架构建应用，使用AR Core返回的参数作为相机参数的初始值，结合网络调整相应参数得到相机位姿，作为帧间深度估计的几何约束的基础。利用预训练的轻量化网络EfficientNet做深度预测的主干网络，在此基础上对网络的损失函数加以设计，并在数据集上进行训练；