[发明专利]图像处理装置、图像处理方法及程序

说明书

技术领域

本公开涉及一种图像处理装置、图像处理方法及程序，更具体地涉及一种高精确度地将不足的颜色成分内插到通过滤色器获得的、构成图像的每个像素中的技术。

背景技术

在单板（single plate）成像装置中，使用滤色器将通过透镜获得的物光分解为例如R（红）、G（绿）和B（蓝）三原色。经常使用具有拜耳布置的滤色器作为这种滤色器。拜耳布置意味着以棋盘图案布置其中亮度信号贡献较高比率的G-滤色器并且在其它部分以网格图案布置R和B滤色器，如图43所图示。在图像传感器的每个像素中获得R、G和B之中的仅仅一种颜色的数据。因此，像素中未获得的其它颜色需要通过使用该像素周围的像素的像素值的计算来进行内插。这种内插处理被称为“去马赛克”或者“去马赛克化”。

在图43图示的拜耳布置中，以两倍于R滤色器和B滤色器的比率来提供G滤色器，并且以棋盘图案来布置G滤色器而以网格图案来布置R和B像素。也就是说，对应于G的像素和对应于R和B的像素在像素的再现范围方面不同。此外，再现范围上的差异具体地对于图像的轮廓部分中伪色的产生等有作用。为了使得再现范围均衡，必须将R和B像素值作为内插值插入到R和B像素缺失的位置处，使得R和B像素具有与G像素相同的布置。也就是说，图像质量很大程度上依赖于G像素能否被合适地内插到R和B像素中。作为一种以高精度将G像素插入到R和B像素中的一种方法，例如，考虑到图像的边缘（边界）的方向性执行内插的方法是已知的。

例如，日本专利申请特许公开No.2007-037104（下文中称为专利文献1）描述了如下的一种方法。具体地，在该方法中，使用目标像素周围的像素的像素值来估计存在边界的方向（下文中，称为“边界方向”）并且以对应于所估计的方向的计算方法计算内插值。作为一种估计边界方向的方法，专利文献1描述了一种在像素的布置方向中的水平方向被设置为0°的情况下，确定0°、90°、45°和135°方向中的每个是否是边界方向的方法。

发明内容

随着用于确定边界方向的存在或者不存在的方向数量增加，内插精度也增加。然而，当用于确定边界方向存在或者不存在的方向数量增加，例如，用于确定边界方向存在或者不存在的像素值的改变量的计算需要与方向的数量执行相同的次数。相应地，计算量也增加。

鉴于上述情形，期望在不显著增加计算量的情况下关于各个方向来确定边界的存在或者不存在。

根据本公开的一实施例，提供了一种图像处理装置，包括：像素改变量计算单元、边界方向确定单元、内插值计算单元和内插处理器。图像处理装置的各个单元具有以下配置和功能。像素改变量计算单元被配置为通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器。第一滤色器中的每一个包括第一颜色成分并且以棋盘图案布置。第二滤色器中的每一个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处。所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在。第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量。第一估计边界方向是在像素的布置方向上的水平方向。第二估计边界方向是在像素的布置方向上的垂直方向。第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸。边界方向确定单元被配置为通过使用关于在第一至第三估计边界方向上计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向。内插值计算单元被配置为基于边界方向确定单元的确定结果来计算与边界方向对应的内插值。内插处理器被配置为通过使用内插值计算单元计算的内插值，将第一颜色成分内插到包括第二颜色成分的目标像素中。