[发明专利]图像处理设备和图像处理方法、学习设备和学习方法

说明书

技术领域

本发明涉及图像处理设备、图像处理方法、学习设备、学习方法、程序和记录介质，更具体地讲，涉及能够高度准确从拜尔阵列的图像产生亮度-色差空间的低噪声图像的图像处理设备、图像处理方法、学习设备、学习方法、程序和记录介质。

背景技术

在过去，为了小型化的目的，成像装置仅仅包括一个成像元件（例如，电荷耦合器件（CCD）图像传感器或者互补金属氧化物半导体（CMOS）图像传感器）。在这些成像装置中，通常对成像元件的各个像素采用不同彩色滤光片，并且由此从每个像素获取诸如红、绿和蓝（RGB）的多个颜色中的任何一个的信号。例如，这样由成像元件获取的图像变成图1所示的彩色矩阵的图像。在下文中，图1的彩色矩阵被称作“拜尔阵列”。

通常，通过称作去马赛克处理的内插处理，由成像元件获取的拜尔阵列的图像被转换成彩色图像，其中每个像素具有例如RGB的多个彩色分量的任何一个的像素值。有人考虑使用类别分类自适应处理作为去马赛克处理来降低彩色图像的噪声（例如，见日本专利No.4433545）。

该类别分类自适应处理是指这样一个处理，其中，将关注像素（即处理图像中的吸引注意的像素）分类成预定类别并且通过将通过与该类别对应的学习获得的预测系数同与关注像素对应的非处理图像的像素值进行线性组合来预测关注像素的像素值。

图2是示出执行类别分类自适应处理作为去马赛克处理的图像处理设备的示例性结构的框图。

图2的图像处理设备10包括成像元件11和预测信号处理单元12。

图像处理设备10的成像元件11对各个像素采用不同彩色滤光片。成像元件11针对每个像素获取来自被摄体的光的R分量、G分量和B分量的任何一个的模拟信号，并且对模拟信号执行模拟到数字（AD）转换，从而产生拜尔阵列的图像。成像元件11将产生的拜尔阵列的图像提供给预测信号处理单元12。

预测信号处理单元12对从成像元件11提供的拜尔阵列的图像执行去马赛克处理并且产生低噪声RGB图像，该低噪声RGB图像是包括各个像素的红色（R）分量、绿色（G）分量和蓝色（B）分量的像素值的彩色图像。

具体地讲，预测信号处理单元12顺序设置RGB图像的每个像素作为关注像素，并且使用关注像素四周的拜尔阵列的图像的各像素的像素值将关注像素分类成针对每个彩色分量的预定类别。另外，预测信号处理单元12保持针对彩色分量和类别通过学习获得的预测系数，在该学习中预先将拜尔阵列的图像设置为学生图像并且将低噪声RGB图像设置为教师图像的。然后，预测信号处理单元12通过针对每种彩色分量将与关注像素的类别对应的预测系数同与关注像素四周的拜尔阵列的图像的像素值进行线性组合来预测关注像素的像素值。

其间，在图2的预测信号处理单元12中的类别分类自适应处理中，由于针对每个彩色分量和类获得预测系数，所以难以按照与彩色分量不同的单位来调整输出图像中的降噪程度。因此，即使调整输出图像中的降噪程度，任意彩色分量中的降噪程度相对强大，并且当彩色分量的噪声之外的部分受到影响时，出现在边缘部分中产生错误彩色的不利效果。

其间，存在一种通过将作为去马赛克处理的结果获得的RGB图像转换成亮度-色差空间的图像（下文称作“YUV图像”）并且对YUV图像执行类别分类自适应处理降低YUV图像的噪声的方法。在这个方法中，依据对亮度的清晰度灵敏而对色差的清晰度不灵敏的人类视觉属性，色差分量（Cb和Cr分量）的降噪程度大于亮度分量（Y分量）的降噪程度。因此，由于即使输出图像的色差分量的噪声降低也不会影响亮度分量（Y分量）的噪声之外的部分，所以很难通过眼睛检测清晰度下降。换言之，能够降低彩色噪声而清晰度不会下降。

图3示出了使用上述方法将拜尔阵列的图像转换成低噪声YUV图像的图像处理设备的示例性结构。

在图3所示的部件之中，与图2所示的部件相同的部件由相同标号进行指示。将恰当省去冗余描述。

图3的图像处理设备20包括成像元件11、去马赛克处理单元21、亮度-色差转换单元22以及预测信号处理单元23和24。

图像处理设备20的去马赛克处理单元21对由成像元件11产生的拜尔阵列的图像执行去马赛克处理，并且将作为结果所得的RGB图像提供给亮度-色差转换单元22。

亮度-色差转换单元22执行用于将从去马赛克处理单元21提供的RGB图像转换成YUV图像的亮度-色差转换处理。亮度-色差转换单元22将作为结果所得的YUV图像的亮度分量提供给预测信号处理单元23并且将亮度分量提供给预测信号处理单元24。