[发明专利]图像处理设备、图像处理方法以及程序

说明书

技术领域

本公开涉及一种图像处理设备、图像处理方法以及程序。特别地，本公开涉及如下图像处理设备、图像处理方法以及程序：其执行用于降低图像的噪声和提高图像的分辨率的处理。

背景技术

当对图像执行图像处理时，例如执行诸如噪声降低(NR)处理、基于低分率图像来生成高分辨率图像的例如被称作超分辨率(SR)处理的高分辨率处理等时，图像处理应用于包括相同对象并且是连续拍摄的多个图像。同时，公开了图像处理技术(诸如使用多个图像的噪声降低)的现有技术包括例如日本未审查专利申请公布第2009-194700号和日本未审查专利申请公布第2009-290827号。

日本未审查专利申请公布第2009-194700号公开了如下成像设备：该成像设备通过参照图像之间的运动信息而叠加多个图像来实现噪声降低。特别地，日本未审查专利申请公布第2009-194700号公开了如下一种方法：该方法在存在要相加的少量图像的部分中消除剩余噪声。详细地，执行基于相加的程度来改变噪声消除滤波器的特性的处理。该处理被配置成为每个像素存储相加数，在相加终止之后基于相加数来进行去心设置(coring setting)，并且随后消除高频颜色噪声。然而，问题在于，需要为每个像素记录相加数的存储区域，并且因为需要根据相加数来准备去心设置，因此存储区域的电路尺寸随着相加数和像素数的增大而增大。此外，在上述相加终止之后执行的噪声消除处理具有如下的电路尺寸问题：当消除低频颜色噪声时，需要具有大量抽头的滤波器。

当执行噪声降低处理或高分辨率处理时，使用大量图像来有效地实现噪声降低和高分辨率。因此，对于生成高质量图像的设备需要存储大量图像的存储器。

然而，包括在图像处理设备中的大量图像储存存储器导致大尺寸硬件和高生产成本。因此，存在如下问题：在高度要求减少其尺寸和成本的成像设备中难以包括这样多个存储器。

此外，当在图像中出现运动对象(即，运动对象区域)时，存在如下问题：即使多个图像重叠，噪声降低效果也很小，并且相反，噪声增大。

发明内容

因此，期望提供如下一种图像处理设备、图像处理方法以及程序：其使用简化的硬件配置，由此能够通过使用多个图像执行重叠处理来实现噪声降低处理和高分辨率处理。

此外，期望提供如下一种图像处理设备、图像处理方法以及程序：其使用对估计为运动对象的区域执行例如应用了低通滤波器(LPF)的噪声降低处理的配置，由此能够在运动对象区域中生成具有较少噪声的图像。

根据本公开的第一实施例，一种图像处理设备包括对连续拍摄的多个图像执行混合处理的重叠处理单元。重叠处理单元包括：运动对象检测单元，其检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理单元，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像；以及噪声降低处理单元，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

此外，在根据本公开的第一实施例的图像处理设备中，噪声降低处理单元可执行应用了低通滤波器的像素值更新处理。

此外，在根据本公开的第一实施例的图像处理设备中，噪声降低处理单元可执行像素值更新处理，在该像素值更新处理中，应用具有取决于运动对象信息的系数的低通滤波器，该运动对象信息使得能够在运动对象区域中获得更高的噪声降低效果。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可包括：全局运动向量(GMV)计算单元，其计算连续拍摄的多个图像的全局运动向量(GMV)；以及位置调整处理单元，其通过基于GMV将参考图像的对象位置调整到基准图像的位置来生成运动补偿图像。运动对象检测单元可基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，获得运动对象信息。混合处理单元可通过根据基于运动对象信息的混合比率来对基准图像和运动补偿图像进行混合，以生成重叠图像。

此外，在根据本公开的第一实施例的图像处理设备中，运动对象检测单元可基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，计算表示运动对象信息的值α作为以像素为单位的运动对象信息。混合处理单元可基于值α来执行如下混合处理：针对具有高概率成为运动对象的像素将运动补偿图像的混合比率设置为低值，而针对具有低概率成为运动对象的像素将运动补偿图像的混合比率设置为高值。