[发明专利]图像处理方法、图像处理设备、图像处理系统和存储介质

说明书

本发明提供图像处理方法、图像处理设备、图像处理系统和存储介质。图像处理方法包括如下步骤：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与第一机器学习模型不同的第二机器学习模型基于拍摄图像所生成的第二模型输出；以及根据基于第二模型输出与拍摄图像和第一模型输出中的一者的比较，通过使用第一模型输出和第二模型输出来生成估计图像。

技术领域

本发明涉及抑制当通过使用机器学习模型基于拍摄图像来估计图像时固有发生的副作用的图像处理方法。

背景技术

机器学习模型能够在实现比使用假定(assumption)或近似(approximation)来对图像进行基于理论的估计的效果高的效果的同时来估计图像。在对图像的基于理论的估计中，效果被由假定或近似忽视的要素所降低。另一方面，在机器学习模型中，通过进行使用包括这些要素的学习数据的学习，能够在不作出假定和近似的情况下，基于学习数据以高的效果估计图像。

例如，在使拍摄图像去模糊的技术中，要素是拍摄图像的饱和像素。在诸如Wiener滤波器等的基于理论的方法中，假定不存在饱和像素。因而，在饱和像素的周围，模糊未被适当地校正，并且会发生诸如振铃(ringing)等的副作用。另一方面，Li Xu等人的DeepConvolutional Neural Network for Image Deconvolution,Advances in NeuralInformation Processing Systems 27,NIPS 2014(在下文中，称作Li Xu等人)使用卷积神经网络(CNN，其是一种机器学习模型)使拍摄图像去模糊。通过使具有等于或高于拍摄图像中的饱和值的信号值的图像模糊来生成学习数据集，并且使CNN学习该学习数据集。由此，即使在饱和像素的附近，能够在抑制副作用的同时使图像去模糊。

然而，Li Xu等人公开的方法可能会在位于与饱和像素无关的位置处的被摄体中产生伪影(伪结构)。具体地，伪影(artifact)是与实际被摄体的结构不一致的信号值的局部减小或增大。伪影是当通过使用机器学习模型估计图像时固有发生的副作用之一。当对图像进行除了去模糊以外的估计时，可能发生对于机器学习模型而言固有的副作用。

发明内容

本发明提供图像处理方法、图像处理设备、图像处理系统和记录介质，其各自均能够抑制当通过使用机器学习模型估计图像时固有发生的副作用。

根据本发明的一方面的图像处理方法包括如下步骤：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像生成的第二模型输出；以及根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。

根据本发明的一方面的图像处理设备包括：获取单元，其被配置为获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出，并且获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像所生成的第二模型输出；以及生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，使用所述第一模型输出和所述第二模型输出来生成估计图像。

根据本发明的另一方面的图像处理系统具有第一设备和第二设备。所述第一设备包括发送单元，其被配置为将拍摄图像和与处理的执行有关的请求发送给所述第二设备。所述第二设备包括：接收单元，其被配置为接收所述拍摄图像和所述请求；以及第一生成单元，其被配置为响应于所述请求，利用第一机器学习模型基于所述拍摄图像来生成第一输出模型，并且利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像来生成第二模型输出。所述第一设备还包括第二生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。

存储使计算机执行以上图像处理方法的计算机程序的非暂时性计算机可读存储介质还构成本发明的另一方面。