[发明专利]一种基于彩色与黑白双摄像头的超分辨率重建方法

说明书

本发明涉及是图像处理领域，具体公开了一种基于彩色与黑白双摄像头的超分辨率重建方法。彩色镜头得到高亮度、低噪点的图像，黑白镜头获取细节丰富的图像。在同样的退化条件下，对两幅图像进行精确地视差估计，通过视差估计将黑白图像的高频信息融合到彩色图像的亮度分量中，完成对彩色图像的超分辨率重建。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。

技术领域

本发明主要涉及到数字图像处理领域，特指一种基于彩色与黑白双摄像头的超分辨率重建方法。

背景技术

在大量的电子图像应用领域，人们经常期望得到高分辨率图像。目前，增加空间分辨率最直接的解决方法是通过传感器制造技术减少像素尺寸。然而随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。另外一种办法是增加芯片的尺寸，从而增加图像的容量，然而很难提高大容量的耦合转换率。高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。

一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率图像得到高分辨率图像。其基本前提是通过同一场景可以获取多幅低分辨率图像，每一幅低分辨率图像都为超分辨图像的重建提供一些不同的信息。目前，常用的方法是通过一台照相机的多次拍摄获取多张同一场景的低分辨率图像。但是这种方法存在缺陷：拍出来的多幅低分辨图像不具有同时性，同一场景间会存在一定的运动位移，对后续的配准、信息融合带来误差，进而降低超分辨率重建的效果。另一种是利用不同视点处的相机同时拍摄同一场景的多张照片进行超分辨率重建，这种方法，一旦不同视点间相机距离远，则很难达到亚像素精度的信息互补。因此本发明提出了一种利用双摄像头模组以及两个摄像头功能互补性的超分辨重建方法。

发明内容

本发明要解决的技术问题在于：如何利用以彩色与黑白双摄像头拍摄的彩色、黑白图像进行超分辨率重建。本发明提出一种基于彩色与黑白双摄像头的超分辨率重建方法，充分利用双摄像头中彩色相机亮度高、噪点低，黑白相机细节丰富，拍摄的图像具有同时性等特点，首先利用彩色图像的亮度分量与黑白图像的低频信号进行精确地视差估计，再利用视差信息对黑白图像的高频信号进行几何变化，对亮度分量进行高频信号补偿。将得到的高分辨率的亮度分量转化到RGB空间，即得到了彩色高分辨率图像。

为解决上述技术问题，本发明提出的技术方案是：

一种基于彩色与黑白双摄像头的超分辨率重建方法，包括以下步骤：

S1：利用彩色与黑白双摄像头模组同时分别获取彩色图像与黑白图像；

S2：对步骤S1中获取的所述彩色图像与黑白图像进行处理，分别获得所述彩色图像的亮度分量以及所述黑白图像的低频信号与高频信号；将所述彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量，并使用其亮度分量进行后续处理；将所述黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号，其中，低通滤波器使用双边滤波器，而低通过滤后的图像与原图的残差作为高频信号；

S3：对得到的亮度分量以及低频信号进行精确地视差估计，得到视差信息，该视差信息为亮度分量与低频信号间的像素对应关系。

S4：根据步骤S3得到的视差信息，将步骤S2中获取的高频信号进行几何变换后，融合到亮度分量中，完成对亮度分量的超分辨率重建得到超分辨图。

S5：将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。

作为本发明的优选技术方案，所述步骤S1中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成，其中彩色镜头提高亮度，降低噪点；黑白镜头扩大进光亮，丰富细节信息。