[发明专利]图像处理装置以及图像处理方法

说明书

技术领域

本文公开的技术涉及检测多个帧之间的图像信号的相关性以便检测这些帧之间的运动矢量的图像处理装置以及图像处理方法。

背景技术

从图像信息本身中确定两个屏幕图像之间的运动矢量的块匹配技术已经使用很长时间了。块匹配的发展主要与电视摄像机的摇镜头-倾斜检测或图像拾取对象跟踪、MPEG(运动图像专家组)系统的视频编码等联系在一起来进行。并且，在九十年代，块匹配技术通过图像叠加在低照度图像拾取时应用于像无传感器摄像机晃动校正和降噪(下文称为NR)那样的各种应用。

块匹配是计算两个屏幕图像之间的运动矢量的方法，这两个屏幕图像包括作为关注屏幕图像的参考屏幕图像和参考屏幕图像的运动所基于的屏幕图像(下文将后一种屏幕图像称为目标屏幕图像)。一旦计算了两个屏幕图像之间的运动矢量，就通过计算参考屏幕图像与目标屏幕图像之间的相关性对预定尺寸的矩形区域的一个块计算运动矢量。存在两种情况，包括像按照MPEG系统的运动检测的情况那样目标屏幕图像在时间上先于参考屏幕图像的一种情况、以及像例如通过下文所述的图像帧叠加降噪的情况那样参考屏幕图像在时间上先于目标屏幕图像的另一种情况。

应该注意到，用在本文中的术语屏幕图像表示由一个帧或一个场的图像数据形成和作为一个图像显示在显示装置上的图像。但是，为了便于本文描述起见，屏幕图像有时称为帧，假设屏幕图像由一个帧形成。例如，参考屏幕图像有时称为参考帧，并且目标屏幕图像有时也称为目标帧。

在块匹配方法中，将目标帧划分成多个目标块，并且对于每个目标块，将搜索范围设置成一个参考帧。然后，从图像存储器中读出目标帧的目标块和参考帧的搜索范围内的参考块，并为每个像素计算SAD(绝对差之和)值，以形成搜索范围的程度的SAD值表。SAD值是绝对差值之和。然后，将SAD值的最小值确定为与目标块有关的运动矢量。

已公开日本专利第2009-81596号(下文称为专利文献1)描述了检测运动矢量的处理的例子。

发明内容

块匹配处理电路消耗了大量硬件资源，并且为减少这样资源的方法提出了各种建议。另一方面，块匹配处理需要大量时间，并且决定整个电路的吞吐量。因此，资源和处理时间总具有折中关系，不能唯一地确定它们之间的平衡。

例如，如果将基于分层结构的匹配处理当作一个例子，则需要等于像对于VGA(640×480)等的图像两个分层或对于12M(4,000×3,000)的图像三个分层那样的分层数的变量数。

此外，一般说来，像加上静止画面的连续拍摄功能那样，对付摄像机晃动引起的整个图像模糊的应用也对付搜索范围较大的较大摄像机晃动。

另一方面，在将块匹配处理部分用作矢量检测器的情况下，搜索范围和所需处理速度取决于要使用的应用而变。因此，一般不能断定宁愿保证较大搜索范围。

尤其，当配置含有运动检测引擎的系统时，最好是运动检测部分的控制部分可以可编程地针对搜索范围、分层数等改变分层块匹配的配置。例如，控制部分最好像例如CPU(中央处理单元)或DSP(数字信号处理器)那样依照程序来工作。

此外，在与像MPEG那样的编解码处理有关的领域中，基于处理器的运动检测引擎或基于处理器的DCT处理引擎已经提出来很久了。例如，已经提出了将SAD算术运算单元和多个处理器并联连接以实现可编程运动检测处理的引擎。

然而，关于像MPEG编解码或视频帧NR那样需要实时特性的处理，在需要可编程配置的同时，需要高速进行处理。

例如，专利文献1提到了在进行分层块匹配处理的情况下的处理时间的问题。专利文献1解决了如果根据缩小面上的运动矢量检测和基本面上的运动矢量检测的过渡，不知道缩小面的运动矢量检测的结果，则不能通过构建管线访问用于基本面上的运动矢量检测的参考块的问题。

然而，为了编程这样的复杂管线，要检查内部处理中的各种状态，这使CPU配置复杂化。

按照本公开技术的一个实施例，提供了一种图像处理装置，其包括图像处理部分，适用于计算多个帧之间的图像信号的运动矢量；第一控制部分，适用于可编程地控制所述图像处理部分以便进行运动检测；以及第二控制部分，适用于在事先确定的处理状态下控制所述图像处理部分以便进行运动检测。

在该图像处理装置中，作为图像处理部分对运动矢量的计算处理，可以通过组合或有选择地使用可编程地控制运动矢量计算的处理状态和事先确定的处理状态进行适合图像信号的状态的适当运动矢量计算。