[发明专利]多阵列相机成像系统及其方法

说明书

相关申请的交叉引用

本案要求、2015年3月13日提交的序列号为62/132,861美国临时专利申请(代理人案号：3034-003PR1)的优先权，该美国临时专利申请在此引入本文。如果本申请与一个或多个已引入且可能会影响本申请权利要求解释的内容作为本申请参考的专利权案件之间的语言存在任何矛盾或不一致，则本案权利要求的解释应与本案中的语言保持一致。

技术领域

本发明涉及成像，尤其涉及用具有多个焦平面阵列的相机系统的成像。

背景技术

在开发数字成像系统前，相机基于镜头以及位于镜头焦平面的胶片感光乳剂。场景光学图像投射到乳剂上，通过化学过程被永久记录。然而，数字成像的出现，在记录和查看场景图像方面实现了进步。尤其是现代相机，它可利用位于成像镜头焦平面的电子传感器阵列通过暂时数字记录场景的光学图像来形成场景图像。传感器阵列(又名焦平面阵列)通常包括光电探测器像素的大型二维阵列，如，电荷耦合元器件(CCD)和光电探测器等。该传感器阵列基于图像采集期间形成于其记录表面上的子图生成数字图像数据集。

由于具有高像素数的成像系统在查看输出图像方面具有诸多优势，因此，随着数字成像技术的日趋成熟，开发出了含有更大像素数的传感器阵列。举例来说，提供的总场景图像的质量可得到提高，而分辨率得到提高还可使场景分区视图被放大，从而可进行更为详细的检查。

像素数是衡量图像质量的基本单位，通常以图像中表示出包含百万像素数量。在大多数情况下，传感器元件包含于单阵列内。由于传感器元件在单阵列内的相对位置是先验已知的，且其余位置可在成像过程中得到确定，因此，使用单阵列有助于进行图像处理，其中的图像处理是指在合理时间量内将来自传感器阵列的原始像素数据转换成输出图像所需的处理。总像素数受每个传感器元件的大小以及可将触感器元件形成于其上的载板的实际尺寸的限制。智能手机或数字相机的像素数通常在8-40百万像素范围之间。

在许多情况下，最好增大图像像素，使其超过可易于通过单个传感器阵列对场景成像所获得的图像像素。在现有技术中，通常通过以下方式实现：将多个数字子图(每个数字子图均由不同传感器阵列提供)聚合成具有大型像素数的合成图像，同时保持子图区的高像素密度。与具有一个连续焦平面阵列的系统相比，这可在高角分辨率与宽视域相结合、数据高速读出以及每个像素成本更低等方面为单传感器阵列相机提供性能优势。

全景成像即为一个应用实例，其中，多个低像素数图像组合形成高像素数图像。在大多数情况下，全景图像由从单个相机中提取的一系列图像生成，而在采集系列图像期间相机需平移和倾斜。或者，有时也可采用具有多个传感器阵列的相机系统。

在某些情况下，在全景和非全景成像应用中可使用具有多个单传感器阵列微型相机的阵列相机。在该系统中，每个微型相机基于场景的不同部分将输出数据提供给公共图像聚合处理器，其中，该公共图像聚合处理器将输出数据组合成整个场景的合成图像。

遗憾的是，由于子图拼接需要进行几何和辐射处理，因此，将多个较小子图组合成合成大图所需的计算非常密集。此外，当子图拍摄于不同时间点时，场景照明将发生变化，或者存在与视域内移动的物体相关联的运动伪像。再者，不同传感器阵列的响应度不同，这将导致对比度和亮度等发生变化。因此，为了降低由这些变化所引起的子图间接缝，需对相邻图像进行比较计算。此外，还必须对子图实施失真校正、指向校正和非线性校正。一旦完成广泛性处理，就可获得具有非常高像素数(尺寸通常在数十百万像素到数十千兆像素之间)的单个图像文件。

虽然此类广泛性处理有严格的时间限制，但是，在过去其避免了采用多个传感器阵列以视频速率来采集高分辨率、高像素数图像。因此，迄今为止，高清视频流一直主要受限于由单传感器阵列相机采集。因而，在视频速率应用中，通常用多个单独控制的相机来采集完整场景，其中，每个相机仅提供一部分场景的小面积视图。举例来说，体育消息广播通常依赖于多个在整个场馆内进行战略性定位或定向的不同摄像机。每个摄像机都有自己的摄影师，且选择播放哪个摄像机视图的总摄影师必须对多个摄像机视图进行持续实时分析。除了会导致资金和运营费用过高之外，这种方法还会限制观看体验的“丰富性”。

迄今为止，对可同时提供高分辨率图像的成像系统的需求尚未得到满足。

发明内容

本发明利用具有多个传感器阵列的成像系统实现了对场景的大面积高像素数图像的高速采集与渲染。本发明的实施例特别适用于高清视频广播系统。