[发明专利]图像处理超参数预测方法、系统、设备及存储介质

说明书

本发明提供了一种图像处理超参数预测方法、系统、设备及存储介质，所述方法包括：采集用于训练的原始图像和多个训练超参数组；将所述原始图像和所述训练超参数作为图像处理模拟模型的输入数据，基于预设的图像处理流程，训练图像处理模拟模型；将所述原始图像输入参数预测模型，得到所述参数预测模型输出的第一预测超参数组，将所述原始图像和所述第一预测超参数组输入训练好的图像处理模拟模型，根据所述图像处理模拟模型的输出图像训练所述参数预测模型；采集待处理图像，将所述待处理图像输入训练好的参数预测模型中，得到所述参数预测模型输出的第二预测超参数组。本发明可以根据场景动态实时变化自动实时预测最佳的图像处理超参数。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理超参数预测方法、系统、设备及存储介质。

背景技术

商业级的成像系统依赖图像信号处理(Image Signal Processing,ISP)流程，该流程由若干像素级(Pixel-level)处理模块组成，在这些模块中包含了大量的超参数，用于将传感器上的RAW图像重建成一幅RGB图像。在监控领域，通常硬件图像处理超参数与重建的RGB图像有着复杂的交互。传统的方法，通常需要有经验的ISP工程师花费数月时间去优化这些超参数，这不仅需要耗费大量的时间资源，且难以保证所优化的参数在增量迭代过程中是全局或者局部最优的。

近年来，随着卷积神经网络(Convolutional Nearul Network,CNN)和生成对抗网络(Generative Adversarial Network,GAN)在像素级图像处理领域的优异表现，各种各样基于神经网络替代图像处理流程的方法层出不穷。而这些方法通常既需要强大算力的支撑，又无法产生多样化输出，且模型在真实场景中的泛化能力也难以保证，无法满足监控场景的实际需求。为了解决上述问题，Mosleh等人提出硬件内循环端到端优化方法，但该方法需要联合硬件设备进行优化，灵活性较低且无法根据动态场景变化而更新参数。Kosugi等人提出基于强化学习(Reinforcement Learning)的优化方法，但该方法不能满足黑盒(Black-box)硬件图像处理超参数优化的需求。此外上述方法，均不能根据监控场景动态变化而实时预测图像处理超参数。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种图像处理超参数预测方法、系统、设备及存储介质，可以根据场景动态实时变化自动实时预测最佳的图像处理超参数。

本发明实施例提供一种图像处理超参数预测方法，包括如下步骤：

采集用于训练的原始图像和多个训练超参数组；

将所述原始图像和所述训练超参数作为图像处理模拟模型的输入数据，基于预设的图像处理流程，训练图像处理模拟模型；

将所述原始图像输入参数预测模型，得到所述参数预测模型输出的第一预测超参数组，将所述原始图像和所述第一预测超参数组输入训练好的图像处理模拟模型，根据所述图像处理模拟模型的输出图像训练所述参数预测模型；

采集待处理图像，将所述待处理图像输入训练好的参数预测模型中，得到所述参数预测模型输出的第二预测超参数组。

本发明的图像处理超参数预测方法首先采集用于训练的原始图像和超参数组，然后构建和训练一个代理的图像处理模拟模型，采用该模型来模拟图像处理流程，可以替代传统硬件或软件图像处理流程，通过该模型建立参数配置空间和评估指标之间的映射，然后结合图像处理模拟模型和原始图像来训练参数预测模型，得到可以用于超参数预测的模型，将待处理图像输入到参数预测模型即可以得到预测的超参数组。待处理图像可以是实时采集的图像，例如监控场景中的监控设备的实时采集图像，从而可以根据场景动态实时变化自动实时预测最佳的图像处理超参数，以获得最佳的图像处理效果。在其他一些实施方式中，所述待处理图像也可以是预先存储的图像，同样可以实现对待处理图像选择最佳的图像处理超参数，以获得最佳的图像处理效果。