[发明专利]基于计算机视觉定位的增强现实实现方法

摘要

本发明公开了一种基于计算机视觉定位的增强现实实现方法，该方法针对单目相机，其实现过程包括：首先，对所用相机进行离线标定；然后在相机拍摄图像上提取特征点，计算描述子，对提取到的特征点进行图像畸变矫正处理；再者，围绕图像特征点计算相机位姿；最后，将相机位姿输入三维引擎模块，在现实图像背景上叠加虚拟三维模型，实现了增强现实效果。本发明通过单目相机获取图像信息，围绕图像特征点计算相机位姿，降低了增强现实实现的复杂性，拓展了增强现实的应用范围。

主权项

1.一种基于计算机视觉定位的增强现实实现方法，其特征在于，初始化相机位姿，渲染增强现实效果，该方法的步骤包括如下：(1)标定相机：采用基于移动平面模板的相机标定方法，标定摄像机内参数矩阵，三个径向畸变参数，二个切向畸变参数；(2)提取图像特征点：采用加速段测试的特征FAST检测方法，从标定后相机拍摄的图像中提取特征点；(3)计算特征点描述子：(3a)用方差为2，9×9个像素点的高斯窗口，对提取特征点后的图像进行高斯滤波，得到滤波后的图像；(3b)从滤波后的图像中任意选取一个图像特征点，作为当前图像特征点；(3c)以当前图像特征点为中心，将其31×31个像素点邻域范围内的所有像素点组成一个图像邻域块；(3d)在每个图像邻域块中随机选取一对5×5像素点大小的图像子块；(3e)利用比特位计算公式，计算描述子中的每个比特位：(3f)判断是否选取完图像邻域块中的所有图像子块，若是，则执行步骤(3g)，否则，执行步骤(3c)；(3g)判断是否选取完滤波后的图像中所有图像特征点，若是，则执行步骤(4)，否则，执行步骤(3b)；(4)矫正图像畸变：(4a)对提取到的每一个图像特征点，进行图像特征点的坐标归一化处理；(4b)利用径向畸变矫正公式，对归一化后的图像特征点坐标进行径向畸变矫正；(4c)利用切向畸变矫正公式，对径向畸变矫正后图像坐标进行切向畸变矫正；(5)判断当前处理的相机拍摄图像帧数是否为相机拍摄图像的第一帧，若是，执行步骤(6)；若当前处理图像为相机拍摄图像的第二帧，执行步骤(7)，若当前处理图像帧数大于等于三，执行步骤(9)；(6)初始化三维引擎模块：(6a)以当前相机坐标系为基准，建立世界坐标系，用单位矩阵表征相机位姿；(6b)将三维引擎模块中的虚拟相机内参数矩阵设置为标定相机的内参数矩阵，将三维引擎模块中虚拟相机的位姿设置为单位矩阵；(6c)三维引擎模块读取由三维动画软件制作的三维模型后执行步骤(2)；(7)初始化相机位姿：(7a)选取相机拍摄的最初的两个图像帧，对两组二维图像特征点描述子进行匹配，用汉明距离表征图像特征点描述子匹配程度；(7b)对于满足对极约束关系的所有图像特征点匹配对中的任意一对图像特征点，计算相机位姿的本征矩阵：P_i^TEQ_j＝0其中，P_i表示选取的第一帧图像的第i个图像特征点的齐次坐标，T表示转置操作，E表示相机位姿的本征矩阵，Q_j表示选取的第二帧图像中与P_i满足对极约束关系的第j个图像特征点的齐次坐标；(7c)按照下式，分别计算相机位姿的旋转矩阵和平移向量：E＝cRRR^T＝I其中，c表示相机位姿的平移向量的反对称矩阵，R表示相机位姿的旋转矩阵，I表示单位矩阵；(7d)利用变换矩阵计算公式，计算相机位姿的变换矩阵：O＝[R|t]其中，O表示相机位姿的变换矩阵，t表示相机位姿的平移向量；(7e)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；(8)映射三维空间点：(8a)在当前相机位姿对应的相机坐标系中，按照下式，计算当前图像帧中二维图像特征点对应的三维空间坐标：B_a＝KD_a其中，B_a表示当前图像帧的第a个图像特征点的齐次坐标，D_a表示与B_a对应的当前相机位姿对应的相机坐标系中的三维空间点坐标；(8b)将当前相机坐标系变换到世界坐标系，将当前相机坐标系中的三维空间点添加到世界坐标系三维空间点集合后执行步骤(10)；(9)获取相机实时位姿：(9a)将当前三维空间点集合中的三维空间点与当前图像帧提取到的二维图像点匹配，用欧氏距离和汉明距离表征匹配程度；(9b)采用基于点特征的定位PnP方法，得到准确的当前相机位姿的变换矩阵；(9c)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；(10)渲染增强现实效果：(10a)三维引擎模块将当前图像帧放入帧缓冲区，作为增强现实的现实部分；(10b)根据当前现实相机的位姿信息，调整三维引擎模块中的虚拟相机位姿，使得虚拟相机位姿与当前现实相机的位姿一致；(10c)基于虚拟相机的当前位姿，将世界坐标系中的的三维模型变换到当前图像帧对应的相机坐标系中；(10d)基于虚拟相机的内参数矩阵，将当前相机坐标系中的三维模型投影至二维平面，投影结果放入帧缓冲区，叠加在当前图像帧之上，作为增强现实的虚拟部分；(10e)将帧缓冲区映射到屏幕上，呈现出现实与虚拟相融合的虚拟现实效果。