[发明专利]一种图像处理方法及电子设备

说明书

本申请提供了一种图像处理方法及电子设备，该方法包括：利用训练数据集对多帧去反射模型进行训练，得到已训练的多帧去反射模型，根据已训练的多帧去反射模型的中间层的输出特征，对单帧去反射模型进行训练，得到已训练的单帧去反射模型，将待去反射的单帧图像输入到已训练的单帧去反射模型，单帧去反射模型输出对应的背景层图像、反射层图像和反射置信图。利用已经训练好的多帧去反射模型作为教师网络，通过知识蒸馏技术，训练学生网络得到单帧去反射模型，使得该单帧去反射模型的去反射效果可以达到多帧去反射模型的去反射效果。

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。

背景技术

随着科学技术的不断发展，大多数电子设备都具备有拍摄功能，例如：手机、电子相机、平板电脑等。用户在使用电子设备进行拍摄过程中，经常会受到反射现象的影响，由于反射现象会使得拍摄的图像中出现反射区域，导致图像中部分区域被遮挡，妨碍图像后处理的基本信息的提取，例如：计算机视觉任务的实现十分依赖于图像效果，如果基于存在反射区域的图像进行计算机视觉任务的话，会对算法的性能和稳定性造成较大的影响。其中，反射现象主要是由于通过玻璃、橱窗等透明介质拍摄时产生。

当前情况下，具有较好的图像去反射效果的方法，都是基于多幅图像所达到的，需要较长的图像序列，极大地限制了它们的应用范围。并且对于已经拍摄完成很久的图像或是网络图像，重新获得其对应的多视角图像是不现实的。

由此可见，图像去反射的方法具有局限性，对于无法获得多视角视图的单帧图像无法有效地实现去反射的效果。

发明内容

为了解决上述问题，本申请提供了一种图像处理方法及电子设备，能够有效地对单帧图像实现去反射的效果。

为达到上述目的，本申请采用如下技术方案：

本申请的第一方面提供一种图像处理方法，该方法包括：获取包括多组训练数据的训练数据集，每组训练数据包括多帧反射图像、以及对应的背景层图像和反射层图像，该多帧反射图像是针对同一目标、同一时刻、不同视角的多帧图像，利用训练数据集，对多帧去反射模型进行训练，训练完成的多帧去反射模型作为教师网络，根据教师网络的中间层的输出特征，以及训练数据集中的单帧反射图像，对学生网络进行训练，从而得到单帧去反射模型，将待去反射的单帧图像输入到单帧去反射模型中，单帧去反射模型输出对应的背景层图像、反射层图像以及反射置信图。利用已经训练好的多帧去反射模型作为教师网络，通过知识蒸馏技术，训练学生网络得到单帧去反射模型，使得该单帧去反射模型的去反射效果可以达到多帧去反射模型的去反射效果，突破了局限性。

在一种可能的实现方式中，利用学生网络的损失函数对学生网络进行训练，从而得到单帧去反射模型，该学生网络的损失函数包括第一部分和第二部分，基于教师网络的中间层的输出特征，确定学生网络的损失函数的第一部分，基于训练数据集中的反射图像以及对应的背景层图像和反射层图像，确定学生网络的损失函数的第二部分，实现了有效地对学生网络进行全面的有监督训练。

在一种可能的实现方式中，在训练学生网络时，将训练数据集中的单帧反射图像输入所述学生网络的同时，将该单帧反射图像对应组的训练数据中的多帧反射图像输入到教师网络中，在教师网络基于该组训练数据中的多帧反射图像进行去反射处理的过程，获得所述教师网络的中间层的输出特征。

在一种可能实现的方式中，多帧去反射模型包括光流初始网络、背景层重建网络、反射层重建网络以及光流优化网络，其中背景层重建网络和反射层重建网络都称为重建网络。