[发明专利]基于摄像头图像处理芯片的图像增强处理系统及处理方法

说明书

技术领域

本发明属于芯片设计领域，尤其涉及大尺寸图像处理的控制方法、装置及系统，具体来说是一种基于摄像头图像处理芯片的图像增强处理系统及处理方法。

背景技术

主流的CMOS/CCD图像传感器(sensor)在采集大尺寸图像的数据传输格式一般都是Bayer Raw RGB格式，如图1所示，这种数据格式的特点是一个像素点只有一个颜色分量(R、G或B)的信息，之后通过插值等算法得到完整的RGB像素；同时，图像在采集的过程中也会引入一些噪声，包括镜头的坏点等。在摄像头图像信号处理芯片ISP(image signal processor)中，需要对原始采集的图像做增强处理，系统结构如图2所示。

在图像增强处理的过程中，很多处理算法都是基于目标象素点为中心的N×M块进行处理，利用当前插值像素点周围的点来插值，滤波。

例如在做颜色插值处理的时候，块大小为7×7，而sensor传输数据都是一个个点水平逐行扫描进来。因此图像处理芯片在流水结构上，本地总共至少需要保存8行(line n-1～line n+6)的数据量，7行做运算，1行做缓冲进行滚动处理.所述缓存由原始帧长度frame_size决定，具体如图5a所示。

这样的memory开销对于小尺寸的图像处理芯片来说是可以接受的，但对于目前多则上千万的分辨率，每级块处理上都需要存储块高度+1行的数据的话，那么3～4级处理芯片，动则需要几百K的缓存，对于低高芯片来说，成本难以接受。

发明内容

有鉴于此，本发明的目的在于提供基于摄像头图像处理芯片的图像增强处理系统及处理方法，可以有效减小芯片缓存的大小。

为解决以上技术问题，本发明提供的技术方案是，一种基于摄像头图像信号处理芯片的图像增强处理系统，包括图像传感器、同步接收模块、系统内存、本地缓存及图像处理器，还包括帧重构模块，用于根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧；全部小尺寸图像帧依次由图像处理器按照预设算法进行处理，且处理好的全部小尺寸图像帧由图像处理器拼回一完整的大尺寸增强图像帧。

较优地，每一小尺寸图像帧重构同步信号，得到虚拟帧；每一虚拟帧下载到本地缓存，以提供给图像处理器进行后续处理。

在此基础上，本发明还提供一种基于摄像头图像信号处理芯片的图像增强处理方法，包括：

根据后级处理能力，将一大尺寸原始图像帧按照列的方向进行分割，形成若干小尺寸图像帧；

按照预设算法，依次处理全部小尺寸图像帧；

将处理好的全部小尺寸图像帧拼回一完整的大尺寸增强图像帧。

较优地，相邻小尺寸图像帧部分重叠。

较优地，对每个小尺寸图像帧重构同步信号，构成独立的虚拟帧。

较优地，将每一虚拟帧下载到本地缓存之中，以便进行后续处理。

较优地，对于每一虚拟帧，将各行数据下载到本地缓存之中，并逐次取一行数据作缓冲以进行滚动处理；其中，对于当前处理行数据，按像素点依次进行。

较优地，在系统内存中依次处理全部小尺寸图像帧，并将处理好的全部小尺寸图像帧拼回完整大尺寸增强图像帧。

较优地，大尺寸原始图像帧上传到系统内存。

较优地，在完成上传第一帧小尺寸图像帧后，同时启动系统内存DMA上传通道与下载通道。

与现有技术相比，本发明在对大尺寸图像进行虚拟帧重构后进行处理，最大的有益效果是可以减少模块级缓存buffer的大小，由此大大缩小芯片面积，降低芯片设计成本。其次可以让sensor的采集图像速度和ISP的处理图像速度之间更加兼容匹配，这是因为所有的数据都是先上传到系统内存，只需要在合适的时候启动DMA上传通道和DMA下载通道，就可以使两者之间很好地匹配。

附图说明

图1是CMOS/CCD图像传感器所得到图像的数据格式；

图2是现有基于摄像头图像处理芯片的图像增强处理系统的结构示意图；

图3是本发明基于摄像头图像处理芯片的图像增强处理系统的结构示意图；

图4是本发明虚拟帧划分示意图；

图5a是现有处理方法所需缓存的示意图；

图5b是本发明处理方法所需缓存的示意图；

图6是本发明基于摄像头图像处理芯片的图像增强处理方法一较优实施例的流程图；

图7a是原始帧图像输入接口时序图；

图7b是本发明虚拟帧重构后的图像输入接口时序图。

具体实施方式