[发明专利]一种基于自动机器学习的虚拟现实全景图智能拼接方法

权利要求书

1.一种基于自动机器学习的虚拟现实全景图智能拼接方法，其特征在于，

主要包括如下步骤：

S1、图像序列的获取；

S2、对图像序列中所有图像进行基本的图像预处理；

S3、利用SIFT特征检测算法检测每幅图像的SIFT特征点；

S4、负责将图像序列进行投影变换，形成全景图的矩形展开图；

S5.、利用AutoKeras自动机器学习库，使其自动训练神经网络来融合图像交接部分，并进行图像的平衡工作；

在S1步骤中，

在准备阶段，需要利用全景云台以使相机的主点保持不动，通过云台手架旋转相机的拍摄角度；拍摄分四轮进行；

第一轮相机的主线方向与地面平行，然后对周围360°空间进行拍摄；每拍摄一副图像便顺时针旋转一定角度，拍摄的相邻图像之间需要保持10%至20%的重叠部分，直至这些图像囊括了周围360°所有景象；

第二轮拍摄与第一轮相似，唯一的变动是相机的主线不再与水平线平行，而是比水平线高出一个角度；高出的角度具体取决于相机在垂直方向上的最大视野角；

第三轮则把相机的主线向下调整40°；

第四轮即相机主线完全垂直于地平线，镜头向上与镜头向下各拍摄一张图像；这样经过四轮所获得的所有图像包含了周围720°空间内的所有图像，将这些图像称为图像序列；

在S3步骤中，根据这些特征点信息，使用最邻近与次邻近比值法，对图像序列中的所有图像进行配对，检测出图像之间的匹配关系；采用RANSAC算法剔除错误的特征点配对；得到所有图像的之间的匹配信息后，通过特征点的坐标信息，推导图像之间的变换矩阵；

在S4步骤中，

首先会建立一个球体，然后将所有的图像根据其在S3阶段所推导的变换矩阵，投影到球面上；最后再将球面展开成矩形，得到全景图；

在上述的变换过程中，共有两类三维坐标系辅助进行变换：世界坐标系与相机坐标系；

世界坐标系只有一个，其原点在球心，z轴垂直于水平面向上；

相机坐标系有数个，图像序列中的每一幅图像都对应了一个相机坐标系，其原点与世界坐标系相同，但是相机坐标系的z轴平行于每幅图像拍摄时相机主线所对应的角度；

每幅图像将在各自的相机坐标系下进行投影。

2.根据权利要求1所述的方法，其特征在于，

图像序列全部投影完毕后将得到一个球形图像，将该球形图像的所有像素坐标从相机坐标系下变换到世界坐标系下，并在世界坐标系下进行展开，便可得到全景图像。