[发明专利]用于DAS的摄像装置姿态角估计及实时生成合成图的方法

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种对分布式孔径系统的相机姿态角的估计方法、实时生成合成图的方法。

背景技术

可见光相机是当前获取图像信息所使用的最常见摄像设备。实时获取周围环境的场景图像用于场景监视安保等领域具有重要的应用需求和实用价值，例如，执行警备任务的车辆需要监控车辆周围场景状况，直升机驾驶员需要了解以飞机为中心的周围空域中任意视角的情况等等。然而由于单个相机视场角有限，所以单个相机只能提供局部视场范围内的场景图像。为了解360度全视场范围内的场景情况，需要采用分布式孔径系统(Distributed Aperture System-DAS)，即通过在不同视角安装的多个相机来分别提供图像(称为孔径图像)，相邻相机之间的视场范围互相重叠，从而形成一个360度全视场，进而采用图像拼接方式生成任意视场范围内的合成图。

在DAS中，对于一个相机，采用内参数矩阵K和外参数矩阵R对其进行描述。内参数矩阵的形式为：K=fx0px0fypy001,]]>其中f_x和f_y分别为该相机在成像平面上水平(x)方向和垂直(y)方向的焦距，[p_x,p_y]^T为成像平面上主点的坐标，通过相机定标的方法可以计算出内参数矩阵K中的参数，外参数矩阵R由相机的姿态角(方位角、俯仰角和绕轴线的旋转角)可通过Rodriguez（罗德里格斯）旋转公式确定，Rodriguez旋转公式具体可参考文献：R.M.Murray,Z.Li,S.S.Sastry著，”A Mathematical Introduction to Robotic Manipulation”,CRC Press出版，1994年。基于DAS中各相机的内参数矩阵K和外参数矩阵R，可以生成任意指定视角的场景的合成图，即等效为任意指定一个内参数矩阵为K_v、外参数矩阵为R_v的虚拟相机，该虚拟相机输出即为合成图。若生成合成图的像素点对应多个真实相机的成像平面中的像素，则可以对这些像素点通过羽化（feathering）的方法，对像素值进行融合，使得生成的合成图在视觉上可以接受。

在DAS的推广应用中，需要一些特点的限制（硬件的支持，或者是复杂的坐标变换计算）方能实现合成图的生成，使得其通用性和普适性差。如公布号为US2004169663(A1)的美国专利申请所公开的用于飞行员头盔的机载DAS系统，需要建立一种几何映射曲面用于投影多成像传感器传出的图像。然而，该几何映射曲面的半径需要飞机上装载的导航系统提供的数据来计算得到，不适合其他应用场合，例如安保监控，该方案的通用性差。

公布号为US2006066730(A1)的美国专利申请所公开的DAS系统中，对生成的虚拟图像的二维像素坐标首先需要转换为方位角、俯仰角坐标，再转换为三维FRD（Forward-Right-Down）坐标；FRD坐标通过两次坐标变换对应到孔径图像的相应像素的FRD坐标，然后再转换为孔径图像的实际二维像素坐标。这一过程涉及较多的变换计算，需要较强的硬件支持，通用性和普适性差。