[发明专利]车载图像处理装置及其视点变换信息生成方法

说明书

技术领域

本发明涉及用于将从拾取真实图像的图像拾取部分输入的图像变换成从预定虚拟视点观看的虚拟图像的车载图像处理设备，以及该设备的视点变换信息生成方法。

背景技术

为了改善车辆驾驶者的用户的便利性等，存在图像处理设备，其用于利用拍摄车辆的周围环境的多个照相机所拾取的图像生成从车辆上方的虚拟视点观看的合成图像(例如，参考专利文献1)。

在专利文献1中描述的图像处理设备结合从两个不同照相机输入的图像，并根据指示输出像素的位置坐标和输入图像的像素位置之间的对应的变换地址(映射表)改变像素位置以生成输出图像，由此实现来自多个不同照相机的输入图像的平滑结合，并实时地将图像转换成来自虚拟视点的图像。然而，为了实时结合图像，必需预先记录用于结合图像的映射表。

将讨论映射表的创建过程。为了创建映射表，需要确定与从虚拟视点(虚拟照相机的附着位置)观看的合成图像的每个像素相对应的每个照相机的每个像素的坐标。这个对应确定过程被分成两个步骤：找到世界坐标上与来自虚拟视点的合成图像的每个像素相对应的点的位置的步骤，以及找到世界坐标上所找到的点的位置的实际照相机上相应像素的坐标的步骤。

最终记录在映射表中的关系仅仅是虚拟视点的合成图像的每个像素和每个照相机图像(真实图像)的像素之间的关系，并且映射表的创建过程不限于上述的经由世界坐标上的点的方法；然而，在生成具有易于与实际距离和位置关系相关联的环境的合成图像时，经由世界坐标上的点的映射表是极好的，因为真实世界中合成图像的坐标的世界坐标系中的含义变得明确。

虚拟照相机的像素位置[mi]＝(xi，yi)和虚拟照相机的照相机坐标[Pi]＝(Xi，Yi，Zi)之间的关系如下：

xi＝Xi/Zi(其中Zi不是0)

yi＝Yi/Zi(其中Zi不是0)

根据三维旋转[Ri]和转换[Tr]、从虚拟照相机的照相机坐标[Pi]到世界坐标[Pw]的变换如下：

[Pw]＝[Ri][Pi]+[Ti]

同样地，根据三维旋转[Rr]和转换[Tr]、从世界坐标[Pw]到实际照相机的照相机坐标[Pr]的变换如下：

[Pr]＝[Rr][Pw]+[Tr]

图12概略地示出从虚拟照相机的照相机坐标系到世界坐标系的变换，和从世界坐标系到实际照相机的照相机坐标系的变换。即，由虚拟照相机的照相机坐标系C表示的图像M和由实际照相机的照相机坐标系C’表示的图像M’通过图像世界坐标系O彼此相关联。

通过透视投影变换利用焦距fv、从实际照相机的照相机坐标[Pr]＝(Vxe，Vye，Vze)到在实际照相机的投影平面上的二维坐标[Mr]＝(xr，yr)的变换如下：

xr＝(fv/Vze)·Vxe

yr＝(fv/Vze)·Vye

从将这个变换成像素单元并考虑符合实际照相机的透镜失真来校正位置而产生的位置成为实际照相机中的像素位置。为了校正透镜失真，可使用利用记录距透镜中心的距离和校正量之间的关系的表的方法，基于数学失真模型的近似方法等。

此时，存在于世界坐标系中的对象的三维形状是未知的，并且因此在从虚拟照相机的像素位置[mi]到虚拟照相机的照相机坐标[Pi]的变换过程中，[Pi]的放大率λ(λ是除了0的实数)变得不确定。即，在图12中，线1上的点，例如，点K和点Q都投影到相同的像素位置X(xi，yi)。因此，通过对于从虚拟视点观看到的目标的形状假定适当的投影模型，线1上的一个点被确定。这意味着投影模型和线1的相交点被找到，并且被采用作为世界坐标上的点。

例如，世界坐标系中的平面Zw＝0等可能作为投影模型。因此设置适当投影模型，由此可能根据如上所述的过程，计算虚拟视点的合成图像的每个像素[Pi]和实际照相机图像的像素[Pr]之间的对应。

计算该对应需要庞大的计算量，诸如投影模型上每个点的坐标计算，照相机坐标和世界坐标之间的变换，并且进一步如果照相机的数目是大的，则关于投影模型上的坐标被反映到哪个照相机的计算也需要庞大的计算量。

然后，存在一种图像合成变换设备，用于使得可能容易地以小计算量创建用于将实际照相机的拾取图像变换成从虚拟视点观看的图像的映射表(例如，参考专利文献2)。

图像合成变换设备具有三维坐标记录部件，用于记录与虚拟照相机的先前计算的像素位置相对应的投影模型上的三维位置。这消除了对于映射表的创建时刻找到三维位置所需的执行大量计算的需要，并且仅需要执行透视投影变换和失真校正计算。