[发明专利]图像处理装置和方法、程序和固态成像装置

说明书

背景技术

本公开涉及图像处理装置和方法、程序和固态成像装置，具体地涉及可以在抑制电路规模的同时以低成本实现根据多种阵列形式的去马赛克处理（demosaicing process）的图像处理装置和方法、程序和固态成像装置。

出于小型化其尺寸的目的而只具有一个成像元件的成像装置通常对于该成像元件的每一个像素具有不同的滤色器，并且捕获对于每一个像素具有表达多种颜色成分中的任何一种的颜色成分（例如，R成分、G成分和B成分的三种颜色成分中的任何一种）的图像。由于对于每一个像素具有表达多种颜色成分中的任何一种的颜色成分的图像通常包含按照被称为拜耳阵列（Bayer array）的形式布置的像素，所以该图像被称为拜耳阵列图像。

另外，对于每一个像素具有多种颜色成分的彩色图像（例如，具有R成分、G成分和B成分的三种颜色成分的图像）通常是使用插值处理等基于拜耳阵列图像而生成的。对于每一个像素具有多种颜色成分的这种彩色图像被称为RGB图像。例如，通过对拜耳阵列图像执行插值处理来获得RGB图像的处理被称为去马赛克处理。

这种拜耳阵列图像通过滤色器的阵列来实现各种颜色阵列。通常，拜耳阵列图像是通过使用按照二维矩阵形状设置的像素以交替的方式设置其中R像素和G像素重复地布置的行和其中G像素和B像素重复地布置的行来形成的。

同时，在普通的拜耳阵列图像中，像素密度也被提高。例如，也使用通过使普通的拜耳阵列图像的像素密度变成四倍而获得的拜耳阵列图像。

当拜耳阵列图像被去马赛克处理为RGB图像时，为了提高输出图像的质量，还可以执行用于降低噪声的处理和用于提高敏锐感的处理。

例如，还开发了这样一种技术，其中，通过针对输入图像信号的每一个关注像素提取关注像素附近的多个像素并对该多个像素的信号值执行ADRC处理来生成第一特征信息，在输入图像信号的锐利的边缘部分中的像素的信号值被提取作为第二特征信息，基于第一特征信息和第二特征信息来决定一个类别，并且，基于决定的类别来生成至少具有与该关注像素所具有的颜色成分不同的颜色成分的像素（例如，参见日本未审专利申请公开No.2002-64835）。

发明内容

但是，当使用日本未审专利申请公开No.2002-64835中公开的技术来执行去马赛克处理时，例如，需要存储与拜耳阵列图像的阵列形式类型（例如，具有多种像素密度的拜耳阵列图像）的数量相对应的多种系数数据。

另外，由于根据阵列形式改变类别抽头或预测抽头，所以需要准备多种转换处理。

换句话说，在相关领域的技术中，应该针对输入图像的每一个阵列形式来准备预先通过学习生成的系数数据和转换处理单元，这导致电路规模的增大、存储器容量的增大和成本的上升。

希望能够在抑制电路规模的同时以低成本实现根据多种阵列形式执行的去马赛克处理。

根据本技术的第一实施例，提供一种图像处理装置，该图像处理装置包括：预测抽头获取单元，该预测抽头获取单元从多个输入图像获取根据关注像素而决定的多个像素的值作为预测抽头，所述多个输入图像由各自具有单一颜色成分的像素形成并具有不同的像素阵列形式；系数数据存储单元，该系数数据存储单元存储与相应的获取的预测抽头相乘的系数的数据；以及预测计算单元，该预测计算单元通过使用预测抽头和系数的计算来计算输出图像中的关注像素的值，该输出图像由具有多种颜色成分的像素形成，并且是通过对输入图像进行去马赛克处理而获得的图像。预测计算单元使用与从具有预定像素密度的第一输入图像获取的相应的预测抽头相乘的系数来计算输出图像中的关注像素的值，该输出图像是通过对第二输入图像进行去马赛克处理而获得，该第二输入图像具有比第一输入图像低的像素密度且具有不同的像素阵列形式。

每一个输入图像可以是由各自具有红色、绿色和蓝色中的每一种颜色的单一颜色成分的像素形成的拜耳阵列图像，或者是通过将拜耳阵列图像的每一个像素分成2列和2行的具有相同颜色的像素而得到的拜耳2×2阵列图像，并且，输出图像可以是由具有红色、绿色和蓝色的三种颜色成分的像素形成的RGB图像。

当输入图像是拜耳2×2阵列图像时，预测抽头获取单元可以与在四个相邻位置处的关注像素相对应地获取同样的预测抽头。

当输入图像是拜耳阵列图像时，预测计算单元可以计算与拜耳2×2阵列图像的预测抽头中的四个抽头相乘的系数的平均值或代表值，并且，通过将计算出的平均值或代表值与拜耳阵列图像的预测抽头相乘来计算输出图像中的关注像素的值。