[发明专利]一种基于多相机协同的无死角的增强现实方法

说明书

本发明公开了一种基于多相机协同的无死角的增强现实方法。本发明包括如下步骤：部署多摄像头阵列，用特定标记MARK顺时针方向依次让两个相机看到，分别计算二维MARK与相机坐标系原点的真实世界空间坐标系下的相对位姿，从而进行两两相机标定关系，并设置一个标签记录这两台相机已经“标定”。选取一台相机为主相机，其余相机为辅相机，将得到的两两相机之间的相对旋转与平移矩阵求解各辅相机相机坐标系与主相机相机坐标系关系，建立各辅相机世界空间坐标到主相机相机空间坐标的映射关系。本发明通过相机协同定标三位注册技术，以达到模板怎么旋转都能将虚物三维注册到正确位置。

技术领域

本发明属于计算机视觉技术与图形学交叉领域，尤其涉及一种基于多相机协同下的无死角的增强现实方法。

背景技术

AR技术简单来说就是在虚拟环境中添加真实世界的图像，更侧重于现实环境。增强现实不要求苛刻的完全浸入虚拟环境，它是把人工生成的虚拟对象与相应的现实世界融合在一起，提供给操作者附带有虚拟对象的真实场景，或者是建立在真实场景上的虚拟对象。增强现实技术是对真实环境做相应的增补，使操作者能够更方便的感受与认知外部世界。建立一个在细节上精确重现我们所处简单自然环境的系统仍旧具有很大的难度，而增强现实可以不必需要大量的计算能力在提高虚拟环境的逼真度上下功夫，而是充分利用客观世界的信息，根据需求进行增补，相应就极大的减少了对系统整体计算能力的依赖。AR技术涉及了计算机视觉、光电传感器、模式识别、计算机图形学、人工智能、自动化等多个领域，是一种使用计算机生成的虚拟数据对客观环境的影像进行增强或扩展的技术，提供接口使操作者和虚拟环境中的虚拟物体进行自然交流，为操作者带来容易实施的、交互体验好、多种体感、能够强化用户感觉的新体验。增强现实技术可以关联很多领域，在机械装配维护、医学研究、航天军工和商业娱乐等多个领域都能得到广阔的应用。

增强现实技术的核心是三维注册：增强现实系统在设计时需要根据相应的参数信息来确定生成的虚拟物体将要添加到真实空间坐标系中的位置，以便把虚拟物体准确的映射到投影平面，并在显示装置的正确位置进行显示，所需的这些参数信息是通过在现场采集视频图像的摄像机相对于采集现场的位置和方向角(外部参数)、成像系统(摄像机)的内部参数(焦距以及像元高宽比等)计算得到的，这个过程也叫虚实配准，是增强现实系统设计中的一个关键步骤，经过这一系列的注册转换，最终实现虚拟模型与真实环境的融合显示，使用户在观察真实视频信息的同时也能够无缝获得帮助其加深对现实世界理解的各种增强信息。增强信息主要是以三维模型的形式存在，根据先验数据来确定模型细节并创建虚拟物体，计算摄像机的内外参数获得虚拟物体将要添加进真实环境中的坐标信息，为下一步的虚实融合显示做准备。在AR应用中，摄像机本身的内部参数(焦距、像素点参数等)，以及观察者(即摄像机)所处的位置与视线方向角，构成了定标系统的内外参数矩阵，以这些数据资料为基础，确定所创建的虚拟模型添加进世界坐标系中的映射位置，将虚拟对象正确变换到投影平面，在显示模块中显示输出，这就是增强现实系统中三维注册所要完成的任务。上述流程也就是把人工制作的虚拟模型和真实场景中的对象“对齐”的流程。在拍摄视频时，利用光学透视原理，将拍摄对象发出或反射的光线捕捉到相机的光学传感器上，记录成连续图像帧的格式。从某个角度上说，视频文件的拍摄过程也相当于一个从真实场景坐标系到成像平面坐标系的转换过程，是通过摄像机的成像系统，将实际环境中的三维对象数据转换为二维图像投影到摄像机的像平面上的过程。在计算机图形学中，三维模型需要经过视点变换、模型变换、投影变换、视口变换等一系列坐标变换在二维的显示平面显示出来，这个过程和实际摄像机的工作过程是一样的，只是在计算机内部由算法实现。所以我们可以假设一个虚拟摄像机模型，通过参数校准使其与真实摄像机的内外参数保持一致，从而实现真实世界的视频图像和虚拟世界模型的融合显示。因此，AR中的虚实配准过程实际上就是确定不同坐标系统之间的变换关系，明确了各坐标系之间的关系，就能将虚拟模型与真实场景适当的融合，得到增强后的现场影像。

但是，现在的增强现实技术绝大多数基于人工二维标记以及单目相机，故存在一旦二维标记旋转或者平移过大被摄像机几乎看不到，故当标记对摄像机可见程度过低时三维注册将会失败从而无法增强现实，影响体验效果。