[发明专利]一种基于多相机协同的无死角的增强现实方法

摘要

本发明公开了一种基于多相机协同的无死角的增强现实方法。本发明包括如下步骤：部署多摄像头阵列，用特定标记MARK顺时针方向依次让两个相机看到，分别计算二维MARK与相机坐标系原点的真实世界空间坐标系下的相对位姿，从而进行两两相机标定关系，并设置一个标签记录这两台相机已经“标定”。选取一台相机为主相机，其余相机为辅相机，将得到的两两相机之间的相对旋转与平移矩阵求解各辅相机相机坐标系与主相机相机坐标系关系，建立各辅相机世界空间坐标到主相机相机空间坐标的映射关系。本发明通过相机协同定标三位注册技术，以达到模板怎么旋转都能将虚物三维注册到正确位置。

主权项

1.一种基于多相机协同的无死角的增强现实方法，其特征在于包括如下步骤：步骤(1)部署多相机阵列；本着相机能全方位看到需要增强现实的环境为准则部署多相机在需要增强现实的真实世界场景处，上面设置一个朝下相机，四个同一水平面相机分别位于东西南北四个方位；步骤(2)用一张自然纹理标记的MARK，让两台或以上相机同时看到二维MARK正面进行标定，进入双相机标定环节；首先判断该MARK是标定MARK还是增强现实MARK，如果是标定MARK，则进入多相机标定环节，置该相机“正在标定”的标志位为1，计算这个相机相对MARK的位姿即外参矩阵，作为计算相机与相机间位姿的前提；如果是增强现实MARK，则进入增强现实环节，置该相机“正在标定”的标志位为0，计算这个相机相对MARK的位姿；对于每个相机：首先构造金字塔，金字塔共n层，与SIFT不同，每层仅有一副图像；第s层的尺度为scale_s＝Fator^s，其中，Fator初始尺度默认为1.2，原图在第0层；第s层图像大小:在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点；采用ORB算法提取特征点并计算描述子，具体如下公式：计算每个特征点的主方向(质心法)，旋转每个特征点的Patch到主方向，采用ORB算法选取的最优的256对特征点做τ测试，构成256维描述子，公式如下，占32个字节；步骤(3).针对每个相机，对步骤(2)采集的视频流特征点使用PNP算法估计各相机与二维MARK的相对位姿；具体如下：先用3个点计算出4组解获得四个旋转矩阵、平移矩阵；根据公式：将第四个点的世界坐标代入公式，获得其在图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解作为最优解来估计各相机姿态相对于标记的姿态步骤(4).对步骤(3)得到的两个单相机相对于同一个二维MARK的外参位姿矩阵；具体如下：其中，表示真实世界MARK三维空间坐标，和分别表示两台相机同时看到同一MARK时的相机空间坐标，R1、R2分别表示两台相机相对于二维MARK的3*3的旋转矩阵，T1、T2分别表示两台相机相对于二维MARK的3*1的平移矩阵；由[R|T]可得到相机相对于二维mark的外参矩阵；如果该相机“正在标定”标志＝1，则执行步骤(5)进行多相机标定；如果该相机“正在标定”标志＝0，则执行步骤(8)进行多相机协同后的虚实融合；步骤(5).对步骤(4)得到两个式子进行联立，得到如下方程其中，将R₁R₂^‑1视为第二台相机相对于第一台相机的旋转矩阵，‑R₁R₂^‑1T₂+T₁表示第二台相机相对于第一台相机的平移矩阵，由此可得第二台相机到第一台相机的相对位姿矩阵为：[R₁R₂^‑1|‑R₁R₂^‑1T₂+T₁]    (6)步骤(6).基于步骤(5)的方法，依次用一张标定用的MARK依次两两标定相机；每个相机设置一个序号，以备后面计算任意两相机的相对位姿关系；因为两台相机之间已经计算出相对位姿变换矩阵，所以全部两两标定之后可以根据各相机两两之间位姿关系求得任意两个相机的位姿矩阵；步骤(7).求得所有相机相对位姿矩阵后，在虚拟世界中按照真实世界的量度自动摆放虚拟世界各虚拟相机之间的位置，与真实世界各相机之间相对位置保持一致；步骤(8).选一台相机为主相机，其余为辅相机在增强现实过程中，显示器实时显示主相机拍摄的画面，当MARK朝向主相机时，主相机根据相对于MARK的位姿进行三位注册并渲染虚拟物体；当MARK朝向非主相机时，能看到MARK并且置信度最高的辅相机根据步骤(6)(7)求得的两相机的位姿关系对主相机进行位姿一致的相对画图进行增强现实。