[发明专利]图像处理设备以及图像处理方法

说明书

技术领域

本公开涉及图像处理设备以及图像处理方法，其中图像存储部分和各种图像处理器经由系统总线连接，并且各种图像处理器通过访问图像存储器进行各自类型的图像数据处理。

背景技术

从图像信息本身中获取两个屏幕之间的运动矢量的块匹配技术是一种老技术。主要在电视摄像机的摇动和倾斜检测及对象跟踪、运动图像专家组(MPEG)系统的运动图像编码等方面取得了发展。而且，自上世纪九十年代初以来，关于基于图像叠加的多种技术正得到应用，如低亮度下拍摄中的无传感器摄像机抖动校正和噪声消除(噪声降低，下文表示成NR)。

块匹配是计算两个屏幕(即，作为感兴趣屏幕的参考屏幕和作为这个参考屏幕的运动原点的原始屏幕(称为目标屏幕))之间的运动矢量的方法。在计算两个屏幕之间的运动矢量时，针对具有预定尺寸的矩形区域的块计算参考屏幕与原始屏幕之间的相关性，从而计算运动矢量。存在如下两种情况：将原始屏幕当作在时间上早于参考屏幕的屏幕的情况(例如，MPEG中的运动检测的情况)；和将参考屏幕当作在时间上早于原始屏幕的屏幕的情况(例如，后面所述的通过图像帧的叠加而降低噪声的情况)。

在本说明书中，屏幕指的是由一个帧或一个场的图像数据组成并作为一个图像显示在显示器上的图像。但是，为了便于本说明书中的如下描述起见，基于屏幕由一个帧组成的假设，往往将屏幕称为帧。例如，参考屏幕往往被称为参考帧，并且原始屏幕往往被称为原始帧。

在块匹配技术中，将目标帧划分成多个目标块，并在参考帧中为每个目标块设置搜索范围。然后，从图像存储器中读出目标帧的目标块和参考帧的搜索范围内的参考块，并计算各个像素的绝对差之和。在下文中，将绝对差之和称为SAD值。当计算SAD值时，形成与搜索范围的大小相对应的SAD值表。将SAD值表中的SAD值的最小值的坐标值当作有关目标块的运动矢量。

进行块匹配时存储图像数据的图像存储器经由系统总线与运动矢量检测器等连接，并通过存储器控制器控制对图像存储器的读写。

在块匹配技术中，计算有关来自图像存储器的以像素为单位的数据的SAD值。因此，访问图像存储器的次数与图像本身的像素数量和搜索范围的大小成比例地变大，因此需要将总线频带设置得更宽。总线频带指的是在用于传送数据的总线上避免拥塞的情况下、可以用于传送数据的由数据速率、总线宽度(位数)等组成的数值。将总线频带加宽会引起系统规模变大和成本增大的问题。

为了解决这个问题，人们提出了例如如果图像状态是图像不运动的静止状态则不进行匹配处理的技术、和通过抽取参考帧的图像减少信息量的技术。

作为在不降低块匹配精度的情况下减小总线频带的技术，保留参考帧的参考块的共同部分而只更新附加部分的技术是有效的。

但是，存在这些技术导致块匹配的精度降低和只能应用于不要求高精度的某些有限应用的问题。

如果应用保留参考帧的参考块的共同部分而只更新附加部分的技术，则可以在不降低块匹配精度的情况下减小总线频带。但是，经历匹配处理的块的次序是重要的，并且存在不能实现总线频带减小的问题，例如，当未对相邻块连续进行匹配处理时，以及当不能指定匹配处理的次序时。

而且，假设除了块匹配处理器之外的多个图像数据处理器也经由系统总线与图像存储器连接。在这种情况下，即使将用于块匹配处理的有效系统用作对图像存储器的图像数据的存储器访问方式，这种对图像存储器的图像数据的存储器访问技术也不适用于其它图像数据处理器。存在关于其它图像数据处理器这种技术有可能相反地使总线频带增大的问题。

发明内容

日本专利公开第2009-116763号提出了这样的技术，其中结合在图像的垂直方向的线数和沿着水平方向的像素数，以不同的两种类型的块为单位将输出图像数据写入两个存储区中。在这种技术中，准备了两种适合将数据传递给随后级电路的格式和适合块匹配的数据格式，从而满足两种要求。但是，动态随机存取存储器(DRAM)上的存储容量加倍了。因此，尽管解决了与总线频带减小有关的问题，但新引起了有关存储容量和功耗的问题。

总线频带和存储容量存在密切关系。只减小它们之一不会导致系统成本降低，只有当减小两者时才有价值。

需要一种对于多个图像数据处理器经由系统总线与图像存储器连接的情况，在避免上述问题的情况下实现总线频带减小和存储容量减小的技术。

按照本公开的一个实施例，提供了一种包括图像处理器的图像处理设备，所述图像处理器被配置成以块为单位计算目标帧的图像数据与参考帧的图像数据之间的运动矢量。