[发明专利]手机的相机拍照系统及其图像生成方法

说明书

本申请涉及移动终端的成像领域，具体地公开了一种手机的相机拍照系统及其图像生成方法，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。

技术领域

本发明涉及移动终端的成像领域，且更为具体地，涉及一种手机的相机拍照系统及其图像生成方法。

背景技术

随着手机的多摄方案的普及，越来越多的手机同时具有多个不同功能的摄像头，比如彩色摄像头、黑白摄像头、深度摄像头、广角摄像头、超广角摄像头等，相应地，如何融合各种摄像头拍摄的图像从而获得更符合用户需求的图像便成为一个引起关注的问题。

在这些技术中，不同视野的摄像头所拍摄的图像之间的融合是常用的图像生成技巧，例如普通摄像头拍摄的图像与广角摄像头拍摄的图像，广角摄像头拍摄的图像与超广角摄像头拍摄的图像等。这些不同视野的摄像头所拍摄的图像具有相同的拍摄对象，但是在拍摄对象的背景方面，视野较大的摄像头所拍摄的图像所拍摄的图像中具有更加丰富的信息，但是视野较小的摄像头所拍摄的图像中具有更细粒度的细节信息，因此如果将两者进行融合，显然可以提高图像的背景部分的图像质量。

目前已有一些用于同视野的摄像头所拍摄的图像之间的融合的图像处理手段，但这些技术手段大多聚焦于源图像域空间，也就是，在源图像域进行融合。这些图像融合手段无法充分挖掘出图像中所隐含的特征和信息，导致最终的图像融合效果难以满足用户的需求。

因此，需要一种优化的图像融合方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种手机的相机拍照系统及其图像生成方法，其在特征空间将具有不同视野的图像的特征图进行融合并利用坐标转换技术来克服图像内容在高维特征空间中的偏移，以使得具有不同视野的图像能够更好地融合，从而提高融合图像的成像效果。

根据本申请的一个方面，提供了一种手机的相机拍照系统，其包括：

源图像单元，用于分别通过具有第一视野的第一摄像头和具有第二视野的第二摄像头获得第一图像和第二图像，所述第二视野大于所述第一视野；

特征图生成单元，用于分别将所述第一图像和所述第二图像通过第一卷积神经网络，以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图，所述第一特征图和所述第二特征图具有相同的尺度；

差分单元，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；

矩阵分解单元，用于对所述差分特征图的每个特征矩阵进行特征值分解以将每个所述特征矩阵分解为本征向量矩阵、对角本征值矩阵和本征向量矩阵的转置的向量乘积，以获得所述差分特征图的每个所述特征矩阵的初始相关坐标矩阵；

尺寸转化单元，用于将每个所述初始相关坐标矩阵通过线性插值转化为与所述第一特征图和所述第二特征图中的特征矩阵具有相同的大小，再按照通道排列为与所述第一特征图和所述第二特征图具有相同尺度的坐标转换特征图；

高维融合单元，用于以所述坐标转换特征图对所述第一特征图进行坐标转化并与所述第二特征图进行融合，以获得融合特征图；以及

图像生成单元，用于将所述融合特征图输入作为生成器的第二卷积神经网络，以获得所述第一图像和所述第二图像的融合图像。

在上述手机的相机拍照系统中，所述差分单元，进一步用于计算所述第一特征图和所述第二特征图之间的按像素位置的特征值之差，以获得差分特征图。