[发明专利]基于互补场景模型的球面全景图缺失信息修复方法

说明书

技术领域

本发明涉及一种图像修补方法，更具体的说，涉及一种球面全景图中缺失信息的真实修复方法，即利用不同位置处虚拟实景间存在的互补现象建立互补场景模型，基于此模型来进行球面全景图中缺失信息的修复。

背景技术

在计算机视觉、虚拟现实、机器人导航及视觉监控等领域中，往往需要得到更大角度范围的图像，即使广角和鱼眼镜头的使用有时也无法满足需求，而全景图由于其可以达到全视角，能够满足以上领域的需求，因而得到了广泛的应用。将全景图映射到球面、柱面、立方体等模型上，从而形成的空间称为虚拟实景空间，根据映射的模型的不同可以分为球面虚拟实景空间、柱面虚拟实景空间和立方体虚拟实景空间，而相应的全景图也分别称为球面全景图、柱面全景图和立方体全景图。球面虚拟实景空间由于其构造的空间的真实性优于柱面和立方体两种，因为得到了广泛的应用。

目前市面上已经出现了很多的球面全景图自动采集设备，如：Point Grey公司的ladybug 3全景采集设备（Google公司的部分街景是通过此设备采集的）；Dan Slater在1992年搭建的全景采集系统SphereCam(采用2个鱼眼镜头作为采集镜头)；加拿大Quebec公司搭建的SpheroVision全景采集设备(采用四个鱼眼镜头作为采集镜头)；Immesive Media公司的dodeca的全景采集设备（Google公司早期的街景都是通过Immesive Media公司拍摄的）。可以看出，目前市面上的全景采集设备底部都需要支架作为支撑，由于支撑架需要占据空间，使其在进行全景采集时，难以获得周围360度的场景，因而构建的虚拟实景空间都会出现场景缺失现象，如：ladybug 3全景采集设备底部存在84度的空缺。因此，若要构建360度的、拥有完整场景信息的虚拟实景空间，需要对底部的缺失场景进行修补，即：需要解决球面全景图的修复问题。

现有的图像修补技术主要分为基于结构的图像修复和基于纹理的图像修复两种，其思想是利用已经存在的像素或纹理逐渐逼近待修补区域，进行填充。一方面，由于球面全景图缺失像素信息较多，难以用现有的图像修补技术进行修补。另一方面，现有的图像修复方法难以真实还原原有的场景信息，这妨碍了球面全景图的应用。例如在犯罪现场重建中，需要真实地还原现场的原始环境，不能存在虚假信息，即使很小的信息缺失，也可能导致遗漏与案件相关的物件或信息，给案件的侦破带来困难。因此，现有的图像修复技术不适于球面全景图缺失信息的修复。

本发明利用不同位置处虚拟实景间存在的互补现象，建立互补场景模型，基于此模型实现了球面全景图中缺失场景的真实还原和修复。

发明内容

本发明是为了解决球面全景图中存在的场景信息缺失问题，利用目标位置和源位置的虚拟实景间具有互补的特点，提出了一种球面全景图中缺失信息修复的方法，通过该方法可以简单快捷地获得拥有完整信息的球面全景图。

本发明解决技术问题采用如下的技术方案：

本发明涉及一种基于互补场景模型的球面全景图缺失信息修复方法，是按如下步骤进行：

（1）建立虚拟实景空间中目标位置处的空间坐标系，并推导球面全景图中像素坐标系到该空间坐标系的转换关系；

在目标位置建立空间直角坐标系OXYZ中，并在此坐标系下建立球面O，其中球面的球心为O点、半径为R，则此球面即为位置O处对应的球面虚拟实景空间原型；假设球面全景图上某像素点坐标为(x_pixel, y_pixel)，其在球面虚拟实景空间中对应点A的坐标为，球面全景图的像素尺寸为imageWidth×imageHeight，则 (x,y,z)可以通过如下坐标转换关系获得：