[发明专利]360度立体视频的左/右图像生成

说明书

技术领域

本发明涉及图像处理，尤其涉及立体视频的图像生成。

背景技术

人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。

常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不能获得场景的全景360度视图。这点的原因至少在于：在围绕360度全景的某一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了360度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。

发明内容

这里公开了用于从三个或更多个图像传感器捕捉图像数据、以及用于将所捕捉的图像数据处理成从每个图像传感器拍摄的全景的左视图和从每个图像传感器全景拍摄的右视图的方法。在全景的立体表示中，左视图被合成并且被用作全景的左视角，右视图被合成并且被用作全景的右视角。

在各实施例中，使用三个图像传感器来捕捉图像，然而在其他实施例中可能有更多的图像传感器。图像传感器包括用于捕捉全景的反折射图像的镜。一旦全景的反折射图像被每一个图像传感器捕捉，图像就被变形为柱形图像。此后，来自不同图像传感器的图像可以在空间上彼此校准。这可以通过标识对每一个不同图像公共的关键点(即线索)、然后使图像间的公共线索的垂直差异最小来完成。

每个图像传感器生成关于全景的一部分的左视图和关于全景的一部分的右视图。在对来自不同图像传感器的图像进行校准后，来自每一个图像传感器的左图像可以被分组在一起，来自每一个图像传感器的右图像可以被分组在一起。

在一个例子中，本技术涉及一种用于为全景的立体视图生成左图像和右图像的方法，包括：(a)用三个或更多个图像传感器来捕捉全景的图像；(b)一起校准来自三个或更多个图像传感器的图像以便在空间上对齐这些图像；以及(c)将在所述步骤(a)中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像。

在进一步的例子中，本技术涉及一种用于为全景的立体视图生成左图像和右图像的方法，包括：(a)用三个或更多个图像传感器来捕捉全景的图像；(b)将在所述步骤(a)中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像；(c)将来自每个图像传感器的左图像一起分组成从左视角的全景的合成左视图；以及(d)将来自每个图像传感器的右图像一起分组成从右视角的全景的合成右视图。

在另一个例子中，本技术涉及一种对处理器进行编程以便执行为全景的立体视图生成左图像和右图像的步骤的存储介质，所述方法包括：(a)用三个图像传感器来捕捉全景的图像，三个图像传感器中的每个图像传感器捕捉以下内容：i)用作立体图像中的左视角的第一视图，ii)用作立体图像中的右视角的第二视图，以及iii)立体图像中未使用的第三视图；(b)一起校准来自三个或更多图像传感器的图像以便在空间上对齐图像；(c)将在所述步骤(a)中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像；(d)将来自每个图像传感器的左图像一起分组成从左视角的全景的合成左视图；以及(e)将来自每个图像传感器的右图像一起分组成从右视角的全景的合成右视图。

提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1是包括反折射底架组件和计算系统的本发明系统的图。

图2是反折射底架组件的透视图。

图3是反折射底架的透视图。

图4是移除了凸面镜的反折射底架组件的一部分的透视图。

图5是在反折射底架组件的图像传感器内使用的镜的俯视图。

图6是反折射底架组件的图像传感器的截面侧视图。