[发明专利]硬件和软件分界的图像处理流水线

说明书

背景技术

数字照相机包括对原始图像数据进行重采样和空间滤波(例如，内插)的图像处理流水线。例如，照相机流水线组件（诸如，去马赛克组件、向下采样组件、光学畸变校正组件和色差校正组件）可全部对单个图像运用内插技术。传统的图像处理流水线可串行并完全用硬件地实现这些功能。由于连续运用若干个低通式滤波器，这些串行处理可能降低图像质量。完全用硬件执行内插也会具有效率缺点。这些利害因素中的每一个在高数据率操作模式(例如预览和视频录制)下可能特别相关。

附图说明

通过阅读以下说明和所附权利要求，以及通过参考以下附图，本发明的实施例的各种优点将对于本领域普通技术人员变得显而易见，在附图中：

图1是根据一实施例的图像处理流水线的示例的方框图；

图2是根据一实施例的水平内插硬件模块的示例的方框图；

图3是根据一实施例的执行垂直内插的方法的示例的流程图；

图4是根据一实施例的在逐列的基础上确定绿色值的进程的示例的流程图；

图5是根据一实施例的平台的示例的方框图；以及

图6A-6C是根据一实施例的图像数据的示例的图例。

具体实施方式

各实施例可提供一种方法，其中使用硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。该方法也涉及使用软件以沿垂直方向对中间图像数据进行空间滤波。

各实施例也可包括具有硬件模块的装置，该硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。另外，该装置可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使装置沿垂直方向对中间图像数据进行空间滤波。

其它实施例可包括一系统，该系统具有处理器、用于产生原始图像的图像传感器以及沿水平方向对原始图像进行空间滤波以获得中间图像数据的硬件模块。该系统还可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使系统沿垂直方向对中间图像数据进行空间滤波。

现在转向图1，其示出图像处理流水线10。在图示示例中，流水线10包括内插部16，该内插部16一般被用来对来自其它硬件处理模块22的原始图像24进行空间滤波(例如，劣像素校正)，以使空间滤波根据需要提供对原始图像24的去马赛克、向下采样、光学畸变校正和色差校正。内插部16可部分地用流水线10的硬件(HW)部分12实现，部分地用流水线10的软件(SW)部分14实现。具体地说，图示的内插部16包括水平内插硬件模块18和垂直内插软件模块20，其中水平内插硬件模块18在逐行的基础上处理原始图像24而垂直内插硬件模块20在逐列的基础上处理中间图像数据26(26a-26b)。在一个示例中，原始图像24可包括拜尔模式图像，其中每一行包含处于全分辨率下的红-绿(R/G)数据或蓝-绿(B/G)数据。

总地来说，图示的硬件模块18沿水平方向对原始图像24进行空间滤波以获得经几何校正和水平向下采样的中间图像数据26a，该中间图像数据26a被存储至缓冲器/存储器28，且行已由硬件模块18(例如在逐行的基础上)进行处理。如下文中更详细讨论的那样，中间图像数据26a的行中的每个像素可包括红色和绿色(R+G)值或蓝色和绿色(B+G)值，其中这些值可以任何适宜的色度(例如0-256、0-4096等)表达。当已通过硬件模块18处理了足够数量的行以使垂直内插软件模块20开始处理列时(例如所研究的1行之前的5行+之后的5行＝11行)，可在逐列的基础上从存储器28获取中间图像数据26b。中间图像数据26b的列中的每个像素可能包括R+G值或B+G值。

图示的软件模块20可实现为一组指令，如果这组指令由处理器执行，则使软件模块20沿垂直方向对中间图像数据26b进行空间滤波以获得经几何校正和垂直向下采样的最终图像数据30，该最终图像数据30可进一步由其它软件模块32处理。在一个示例中，最终图像数据30的每个像素可包括红色、绿色和蓝色(R+G+B，RGB)值。

图2示出水平内插硬件模块34的一个示例。很容易取代已讨论的硬件模块18(图1)的硬件模块34可实现为固定功能硬件中的嵌入式逻辑，该固定功能硬件使用诸如专用集成电路（ASIC）、互补金属氧化物半导体（CMOS）或者晶体管-晶体管逻辑（TTL）技术，或者其任何组合的电路技术。