[发明专利]基于摄像机阵列的三维实时获取系统

说明书

技术领域

本发明涉及一种三维获取技术，尤其是指一种基于摄像机阵列的，可以实时获取三维信息的三维获取系统，其应用目标是大视角、大物体和动态场景等应用领域。

背景技术

场景的三维信息获取是当今视觉研究的热点问题，但各种方法普遍不够完善。首先，有很多基于单摄像机、双摄像机和摄像机阵列的三维图像获取技术，这些技术的缺点是鲁棒性不高，而且这些技术要求的运算量非常大，即使是非常先进的处理单元，也很难达到实时处理。

TOF技术是一种最近发展起来的获取场景三维信息的先进技术。这种技术通过发射调制红外线照射场景，在接收到场景反射回来的红外线时检测它的相位差，来确定场景的三维信息，因为不需要大量运算，这种方法是可以实现实时处理的。但它的缺点是空间分辨率较低。

发明内容

本发明的目的在于针对现有技术的不足，通过建立基于立体视觉和TOF技术的阵列立体视觉系统，并利用这两种技术的互补，克服各自技术的缺点，提出了一种基于摄像机阵列的三维实时获取系统。该系统首先通过TOF摄像机实时获取一个空间分辨率较低的场景三维信息的初始值，再通过映射和优化，最终得到实时的高分辨率场景三维信息。

为实现上述技术目的，本发明采用的技术方案如下：

本发明的基于摄像机阵列的三维实时获取系统包括以下四个部分：

视频采集系统，采用摄像机阵列来采集场景的图像信息，并对采集的每一帧图像信息按照时间序列编码，通过信号转发系统传送到数据处理系统；

数据处理系统，对采集到的信号进行实时立体视觉处理，计算出场景的三维数据信息，通过网络传送到数据融合系统；

信号转发系统，将采集到的图像信息转发到相应的数据处理系统中，并控制视频采集系统的工作状态；

数据融合系统，在已经得到的不同视角场景的三维数据信息的基础上，将这些三维数据融合为惟一确定的全场景的三维数据。其中：

视频采集系统是由多个高分辨率摄像机和一个较低空间分辨率TOF摄像机组成的阵列，可以是平面阵列，也可以是弧型阵列或任意的拓扑结构的阵列，来完成采集视频图像信息的目的。每台高分辨率摄像机有一个视频采集单元，在信号转发系统上的同步控制单元的控制下，采集阵列视频图像数据。需要发送的阵列视频图像数据和需要接收的控制信号，通过LVDS串行解串行器来传输。LVDS串行解串行器的好处是可以把并行信号转换成串行信号，简化设计，而且在信号线数目减少后，可以通过更方便的传输线与信号转发系统通信。

信号转发系统的首要功能是利用信号转发器将视频采集系统中每一台高分辨率摄像机采集到的视频图像数据发送到对应的数据处理系统的处理器中。其次，信号转发系统上有一个同步控制单元，它可以在数据处理系统上的核心处理器和TOF摄像机的控制下，产生所有高分辨率摄像机的同步信号，并通过信号转发器转发到每台高分辨率摄像机中。最后，它上面设有插槽，用来固定数据处理系统中的处理器系统。

数据处理系统的主要组成部分是对应于每一台高分辨率摄像机的处理器，其中一台核心处理器还负责控制信号转发系统中的控制单元。所有的处理器通过网络相互连接并与TOF摄像机通信，还接收通过LVDS串行解串行器传送的相关几台高分辨率摄像机的视频图像数据。这些处理器采用以下方式来计算出场景的三维信息：

首先，需要对高分辨率摄像机和TOF摄像机阵列进行标定，来确定各台摄像机之间的准确相对位置。本发明先采用单摄像机的标定方法，分别得到所有摄像机的内、外参数；再通过同一平板的坐标系到各自摄像机间的坐标变换，建立摄像机之间的位置关系矩阵。再以求得的参数为初始值，考虑畸变因素，利用全局最优化方法求得最优解。

然后，做TOF摄像机和所有高分辨率摄像机之间的配准。要求TOF摄像机与各台高分辨率摄像机在所覆盖的共同空间上达到严格的对应关系，通过这种对应关系，将TOF摄像机的深度信息映射到所有高分辨率摄像机组成的立体视觉系统，并利用立体视觉系统，进一步优化深度信息。在配准时，数据处理系统中的每台处理器对应一台高分辨率摄像机，并通过信号转发系统分别接收附近区域的多台高分辨率摄像机和TOF摄像机的数据，通过千兆网与其它处理器交换数据。利用TOF摄像机所映射的深度信息和附近区域的多台高分辨率摄像机的视频图像数据，经过相应的集束计算处理，得到每台高分辨率摄像机视角区域的高分辨率三维信息。采用多台高分辨率摄像机，可获得大视角场景的三维信息。

数据融合系统主要是后台处理器。它通过千兆网接收到数据处理系统中每台处理器发送的所对应的高分辨率摄像机视角的三维信息，并把它们整合成完整的唯一的全局场景三维几何数据。