[发明专利]一种基于自动机器学习的虚拟现实全景图智能拼接方法

说明书

本发明提供一种基于自动机器学习的虚拟现实全景图智能拼接方法，属于自动机器学习技术与图像拼接技术领域，本发明可以对手机或传统相机拍摄的图像序列进行拼接，结合传统图像处理技术，利用自动机器学习库，自动生成融合算法，实现比传统方法更好的拼接效果。

技术领域

本发明涉及自动机器学习技术与图像拼接技术，尤其涉及一种基于自动机器学习的虚拟现实全景图智能拼接方法。

背景技术

近些年来，虚拟现实技术(VR,Virtual Reality)发展非常火热，市场上已经出现了几款较为成熟的家用虚拟现实头盔如HTC Vive,Oculus Rift,Sony PlayStation等等。随着硬件设施的逐渐完善与市场化，相应的软件配套设施发展十分强劲，各大游戏公司争相发布热门游戏的VR版本，许多网络媒体也推出了高质量制作的VR视频。然而由于VR软件制作成本较高，其发展速度依然远远无法满足市场需求。

VR软件制作成本主要来源于昂贵的全景拍摄设备。一款性能稳定，效果不错的全景相机价格十分昂贵。高价格阻碍了全景拍摄设备的平民化与市场化，导致虚拟现实生态圈发展缓慢。

应用于虚拟现实的全景图不同于普通意义上人们所理解的全景图，虚拟现实设备中所使用的全景图是扭曲的，其本质上是球面的矩形展开图。因此相比于普通的图像拼接技术难度更高。

在图像序列质量相对较差的情况下，传统算法往往使用SIFT或SURF特征点来进行图像配准，根据图像的配准关系推断不同图像之间的相对位置关系，并以此推导变换矩阵并对分离图像进行仿射变换，最后再对图像拼接区域进行融合与全局白平衡，最终得到虚拟现实全景图的球形展开图。在图像配准方面传统算法已经具备了非常高的准确度，但在图像融合方面传统算法的表现差强人意。近期新兴的机器学习技术为其提供了一个更好的解决方案，其融合效果可以精细到像素级别，在保证细腻的融合效果的同时，还能保证全局的图像平衡。

自动机器学习技术是在机器学习技术基础之上发展起来的。机器学习工作的重中之重是机器学习模型的选择与参数的调整，这往往需要机器学习工程师具有极强的技术背景与项目经验。自动机器学习技术可以根据贝叶斯调参等方法来进行模型的自动选择与自动调参，相比于需要大量人力与算力的网格搜索要解约更多的资源。

发明内容

为了解决以上技术问题，本发明提出了一种基于自动机器学习的虚拟现实全景图智能拼接方法，可以对手机或传统相机拍摄的图像序列进行拼接，结合传统图像处理技术，利用自动机器学习库，自动生成融合算法，实现比传统方法更好的拼接效果。

本发明的技术方案是：

一种基于自动机器学习的虚拟现实全景图智能拼接方法，主要包括如下步骤：

S1.图像序列的获取。本发明图像获取的成本低廉，只需要普通的手机相机，辅以手机全景云台与三脚架，对720°全景空间进行拍摄即可。

在准备阶段，需要利用全景云台以使相机的主点保持不动，通过云台手架旋转相机的拍摄角度。

在调整好相机，全景云台与三脚架等设备之后，进入正式拍摄阶段。拍摄一般分四轮进行，第一轮相机的主线方向与地面平行，然后对周围360°空间进行拍摄。每拍摄一副图像便顺时针旋转一定角度，拍摄的相邻图像之间需要保持大概10％至20％的重叠部分，直至这些图像囊括了周围360°所有景象。

第二轮拍摄与第一轮相似，唯一的变动是相机的主线不再与水平线平行，而是比水平线高出一定角度。高出的角度具体取决于相机在垂直方向上的最大视野角，一般可以设置在40°左右。

第三轮则把相机的主线向下调整40°左右。

第四轮是“补天”与“补地”，即相机主线完全垂直于地平线，镜头向上与镜头向下各拍摄一张图像。这样经过四轮所获得的所有图像包含了周围720°空间内的所有图像，后文将这些图像称为图像序列。