[发明专利]学习数据的制造方法、学习方法以及学习数据制造装置

说明书

本公开涉及学习数据的制造方法、学习方法以及学习数据制造装置。学习数据的制造方法被用于使神经网络执行学习。学习数据的制造方法包括：第一获取步骤，被配置为获取原始图像；第二获取步骤，被配置为获取通过向原始图像添加模糊而生成的作为训练图像的第一图像；以及第三获取步骤，被配置为获取通过向原始图像添加模糊而生成的作为地面真值图像的第二图像。添加到第二图像的模糊量小于添加到第一图像的模糊量。

技术领域

本发明涉及用于深度学习的学习数据的制造方法以及使用深度学习的学习方法。

背景技术

日本专利公开No.(“JP”)2019-121252公开了一种在使多层神经网络执行使用RAW图像作为输入的学习时通过考虑伽玛校正的影响而抑制下冲(undershoot)和振铃(ringing)的方法，其中下冲和振铃中的每一个都是由增加分辨率或对比度(锐化)造成的。X.Mao、C.Shen、Y.Yang，“Image Restoration Using Convolutional Auto-encoders withSymmetric Skip Connections”，https://arxiv.org/abs/1606.08921(下文中称为Mao等人)公开了一种网络配置，该网络配置普遍适用于各种回归(regression)问题。Mao等人进一步公开了通过使用网络对输入图像执行升采样、JPEG解块(压缩噪声的移除)、去噪、非盲去模糊或修复。

但是，JP 2019-121252和Mao等人公开的方法取决于输入图像而可能无法抑制下冲、振铃等，并且这些副作用可能会在校正后的图像(估计的图像)中发生。具体而言，当输入图像包括高亮度的对象时、当输入图像包括由于光学系统的像差而大大模糊的对象时，或者尤其是当输入图像包括具有高亮度值和亮度饱和的对象时，这些副作用可能会发生。当此类图像用作学习数据时，取决于校正量，诸如下冲和振铃之类的副作用可能会发生。

发明内容

本发明提供了一种学习数据等的制造方法，即使当输入到神经网络的图像包括高亮度的对象或由于光学系统的像差而大大模糊的对象时，学习数据等中的每一种也可以实现高度准确的校正，同时减少副作用发生的可能性。

作为本发明的一个方面的学习数据的制造方法被用于使神经网络执行学习。学习数据的制造方法包括：第一获取步骤，被配置为获取原始图像；第二获取步骤，被配置为获取通过向原始图像添加模糊而生成的作为训练图像的第一图像；以及第三获取步骤，被配置为获取通过向原始图像添加模糊而生成的作为地面真值图像的第二图像。添加到第二图像的模糊量小于添加到第一图像的模糊量。

作为本发明另一方面的学习方法使神经网络使用由上述学习数据的制造方法生成的学习数据来执行学习。该学习方法包括以下步骤：通过将第一图像作为训练图像输入到神经网络中来生成经处理的图像，并且基于第二图像和经处理的图像来更新神经网络。

作为本发明另一方面的学习数据制造装置制造用于神经网络的学习的学习数据。该学习数据制造装置包括：第一获取单元，被配置为获取原始图像；第二获取单元，被配置为获取通过向原始图像添加模糊而生成的第一图像；以及第三获取单元，被配置为获取通过向原始图像添加模糊而生成的第二图像。添加到第二图像的模糊量小于添加到第一图像的模糊量。

作为本发明的另一方面的学习装置包括上述学习数据制造装置、被配置为通过将第一图像作为训练图像输入到神经网络来生成经处理的图像的生成单元，以及被配置为基于第二图像和经处理的图像来更新神经网络的更新单元。

作为本发明的另一方面的经学习的模型的制造方法通过使神经网络使用由上述学习数据的制造方法生成的学习数据执行学习来制造经学习的模型。经学习的模型的制造方法包括以下步骤：通过将第一图像作为训练图像输入到神经网络来生成经处理的图像，并且使神经网络基于第二图像和经处理的图像来执行学习。

通过以下参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明