[发明专利]图像处理装置、图像处理方法以及程序

说明书

技术领域

本技术涉及图像处理装置、图像处理方法以及程序。具体来说，当计算连续拍摄的图像之间的运动矢量时能够最优化搜索范围。

背景技术

以往，从通过一边移动拍摄装置的拍摄方向一边进行拍摄来获得的多张拍摄图像中截出例如带状的图像并将其拼接来生成一张广角图像(全景图像)。并且，算出拍摄图像之间的运动矢量，并基于算出的运动矢量来设定截出区域，使得拼接部分的图像成为连续的图像。

图1是用于说明以往的动作的图，示出了通过一边移动拍摄装置的拍摄方向一边进行拍摄来获得的从t-3时刻到t时刻的4张拍摄图像的位置关系。

当计算t-1时刻的图像(参考图像)和t时刻的图像(作为目标图像)之间的图像间运动矢量(以下，称作“全局运动矢量”)时，将从参考图像的中心到上下左右等距离的范围作为搜索范围。在该搜索范围内判断与参考图像之间的匹配程度，将匹配程度最高的运动矢量作为全局运动矢量。当在全局运动矢量的计算中将目标图像整体和参考图像整体进行直接匹配时，取得匹配的图像区域只是图像的一部分，无法精确地计算出全局运动矢量。因此，例如专利文献1所述，将图像分割成几个小的块，计算每个块的运动矢量(以下，称作“局部运动矢量”)，然后对这些块的运动矢量进行综合处理来计算全局运动矢量。

图2A～2C示出了块和局部运动矢量的关系。目标图像和参考图像的关系以绝对座标基准来表示时成为图2A所示的位置关系，以图像基准来表示时如图2B、2C所示。

当在目标图像上设定了计算局部运动矢量的目标块时，在现有技术中，以参考图像上的同一位置为中心，设置了上下左右为等距离的搜索范围。在该搜索范围内，依次进行目标块和参考图像之间的匹配，作为相关性最高的位置的最优匹配位置和目标块位置之间的相对座标表示局部运动矢量。

目标块可以被设定为将整个画面单纯地以等间隔进行了分割的各区域，也可以设定为允许重复的分割区域。另外，也可以将预先从边缘信息等提取特征点并只将包含这些特征点的限定位置作为对象块。另外，即使如图2C所示那样设定搜索范围，匹配对象的图像不存在的区域也没有意义。因此，实际上如图3B所示那样设定搜索范围。

另外，目标图像和参考图像只在共用图像区域(图2A～2C、图3A和3B中用斜线表示的区域)存在一致的图像。因此，从匹配程度等可靠性信息中只提取所有块的局部运动矢量中属于共用图像区域的局部运动矢量。并且，通过对所提取的可靠性高的一个或多个局部运动矢量综合地进行处理，来计算全局运动矢量。基于如上述获得的全局运动矢量，移动目标图像并与参考图像进行拼接，由此能够生成拼接部分的图像连续的广角图像。另外，作为由局部运动矢量计算全局运动矢量的方法，例如公知有将仿射转换和RANSAC(Random Samp1e Consensus，随机抽样一致性)算法组合的方法等。

专利文献1：日本专利文献特开2009-219082号公报

发明内容

然而，当以参考图像上的与目标块相同的位置为中心设定上下左右为等距离的搜索范围时，为了覆盖原本想要获得的移动量，必须要设定宽的区域来作为搜索范围。但是，为了增大搜索范围，就必须增大硬件的规模，而且处理时间也会增加。另外，若增加处理时间，就必须降低帧频，帧频变低，帧间的移动量就会变大，从而必须进一步增大搜索范围。另外，由于帧间的移动量大并且时间上是离散的，因此在拼接了图像时，拼接部分的图像有可能不光滑。

从而，在优先广角图像的图像质量的情况下，需要限制移动拍摄装置的拍摄方向的速度(例如，拍摄装置的摆动速度或平行移动速度等)。另外，在通过允许固定值以上的速度来优先可用性的情况下，必须容忍广角图像的图像质量变差。

因此，该技术的目的在于提供一种不用设定过宽的搜索范围就能够计算运动矢量的图像处理装置和图像处理方法。

该技术的第一侧面是一种图像处理装置，第一运动矢量计算部，其针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；第二运动矢量计算部，其从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；以及预测运动矢量设定部，其使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；其中，所述第一运动矢量计算部基于所述目标块的位置和所述预测运动矢量来在所述参考图像上设定所述搜索范围。