[发明专利]图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统

说明书

本发明公开了图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统。图像处理方法包括以下步骤：获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。

技术领域

本发明涉及一种图像处理方法，其对通过分割光学系统中的光瞳而捕获的图像中的散焦模糊进行整形(reshape)，并获得具有良好的散焦模糊(散景)的图像。

背景技术

日本专利特开No.(“JP”)2016-220016公开了一种通过将光学系统中的光瞳分割成多个部分、通过捕获通过从每个分割的光瞳观察被摄体(object)空间而获得的多个视差图像、以及通过调整组合多个视差图像时的权重来控制由散焦造成的模糊(散焦模糊)的形状的方法。

然而，JP 2016-220016中公开的方法不能再现与比光学系统中的光瞳大的光瞳对应的散焦模糊，因为这种方法调整每个分割的光瞳的权重并组合多个视差图像。换句话说，这种方法不能补偿由渐晕造成的部分缺失(lost)的散焦模糊。用于多个视差图像的组合的不均一的权重可能造成噪声增大。由于由二线模糊或者光学系统中包括的非球面透镜造成的散焦模糊的环形图样(annular pattern)具有毫微结构，因此需要对光学系统中的光瞳进行细分以便减小其影响。在这种情况下，在每个视差图像中空间分辨率可能降低或者噪声可能增大。

发明内容

本发明提供了图像处理方法、图像处理装置、成像装置、镜头装置、程序以及存储介质，它们中的每一个可以对图像的由散焦造成的模糊进行整形并且获得具有良好的散焦模糊的图像。

根据本发明的一个方面的图像处理方法包括以下步骤：获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。

根据本发明的另一个方面的图像处理装置包括：获取器，所述获取器被配置为获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及生成器，所述生成器被配置为使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。包括以上图像处理装置的成像装置也构成本发明的另一个方面。可附接到以上成像装置并且可从以上成像装置拆卸的镜头装置也构成本发明的另一个方面。存储使计算机执行以上图像处理方法的程序的非暂时性计算机可读存储介质也构成本发明的另一个方面。

根据本发明的另一个方面的图像处理系统包括第一处理单元和第二处理单元。所述第一处理装置包括传送器，所述传送器被配置为向所述第二处理装置传送使用第一图像和第二图像进行图像处理的请求，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得。所述第二处理装置包括：接收器，所述接收器被配置为接收从所述第一处理装置发送的所述请求；获取器，所述获取器被配置为获取所述第一图像和第二图像；以及生成器，所述生成器被配置为使用多层神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。

从以下参考附图的示例性实施例的描述，本发明的进一步的特征将变得清楚。

附图说明

图1图示了根据第一实施例的生成模糊整形图像的网络结构。

图2是根据第一实施例的成像装置的框图。

图3是根据第一实施例的成像装置的概览。