[发明专利]图像处理装置、摄像系统、图像处理方法和图像处理程序

说明书

以生成抑制了由于位置偏移而引起的伪像的高精细的合成图像为目的，本发明的图像处理部(9)具有：位置对齐量计算部(29)，其计算参照图像的各像素相对于基准图像的位置偏移量；以及图像合成部(31)，其将根据计算出的位置偏移量进行变换后的参照图像与基准图像进行合成，位置对齐量计算部(29)具有：多平面射影变换矩阵计算部，其按照参照图像中的位置偏移量不同的每个平面计算射影变换矩阵；平面选择部，其根据基准图像与使用计算出的各射影变换矩阵对参照图像进行变换后的多个位置对齐图像的各差分值，生成选择了参照图像的各像素所属的平面和按照每个平面应用的射影变换矩阵的平面映射；选择错误降低处理部，其抑制射影变换矩阵的选择的错误；以及运算处理部，其根据抑制了射影变换矩阵的选择的错误的平面映射，按照每个平面进行位置偏移量的运算处理。

技术领域

本发明涉及图像处理装置、摄像系统、图像处理方法和图像处理程序。

背景技术

以往，作为对多张图像进行位置对齐的技术之一，存在利用射影变换矩阵对各像素位置的位置偏移量进行模型化的方法。这是如下方法：针对从多张摄像图像中任意设定的基准图像和参照图像，利用光流或特征点匹配等求出图像的特征性区域的位置偏移量后，根据该位置偏移量的信息估计画面整体的几何变化，由此求出各像素位置的位置偏移量。

在使用射影变换矩阵求出各像素位置的位置偏移量的情况下，如果不包含存在进深的物体，则能够正确计算图像整体向哪个方向移动多少。但是，在混合存在多个平面这样的包含存在进深的物体的情况下，在不同平面的区域中，位置偏移量大幅不同，因此，需要考虑按照每个该区域而不同的位置偏移量。在无法针对适当的区域应用适当的位置偏移量的情况下，无法正确进行位置对齐，在合成后的图像中产生伪像(数据错误)。

作为解决这种问题并生成合成图像的装置，公知有专利文献1所记载的图像处理装置。在专利文献1所记载的图像处理装置中，为了抑制伪像，首先，求出多个表示位置偏移量的射影变换矩阵。射影变换矩阵表示在混合存在多个平面的被摄体中、最适合某个平面的射影变换矩阵。一边切换射影变换矩阵，一边暂时生成多个应用了位置偏移量的图像(以后称为位置对齐图像。)，求出这些位置对齐图像与基准图像的差分值。判断为差分值较大的区域是位置偏移量不同的其他平面区域，选择在生成差分值最小的位置对齐图像时使用的射影变换矩阵作为该像素中的应该应用的射影变换矩阵。然后，使用全部像素的选择结果(平面映射(map))，对适当的区域应用适当的位置偏移量，抑制合成图像的伪像。

现有技术文献

专利文献

专利文献1：日本特许第5499261号公报

发明内容

发明要解决的课题

但是，在专利文献1所记载的图像处理装置中，除了平面不同的原因以外，特别地，可能由于位置对齐时的射影变换所导致的边缘等高频成分的变化而产生位置对齐图像与基准图像的差分。因此，仅简单地使用位置对齐图像与基准图像的差分值，无法正确选择平面，在存在进深的被摄体中产生位置偏移，存在在合成图像中产生伪像这样的问题。

本发明是鉴于上述情况而完成的，其目的在于，提供如下的图像处理装置、摄像系统、图像处理方法和图像处理程序：针对存在进深且混合存在多个平面的被摄体，能够生成抑制了由于位置偏移而引起的伪像的高精细的合成图像。

用于解决课题的手段

为了实现上述目的，本发明提供以下手段。